With the advancement of cloud computing, there has been a growing interest in exploiting demand-based cloud resources for parallel scientific applications. To satisfy different needs for computing resources, cloud providers provide many different types of virtual machines (VMs) with various numbers of computing cores and amounts of memory. The cost and execution time of a scientific application vary depending on the types of VMs, number of VMs, and current status of the cloud due to interference among VMs. However, currently, cloud users are solely responsible for selecting the most effective VM configuration for their needs, but often end up with sub-optimal selections.
In this dissertation, using molecular dynamics simulations as a case study, we propose a framework to guide users to select the optimal VM configurations that satisfy their equirements for scientific parallel computing in virtualized clusters. For molecular dynamics computation on a cluster of VMs, the guidance framework uses artificial neural networks which are trained to predict its execution times for various inputs, VM configurations, and status of interference among VMs. Using our performance prediction mechanisms, the guidance framework helps users choose an optimal or near-optimal VM cluster configuration under cost and runtime constraints.
However, estimating the execution time with status of interference does not guarantee the optimal utilization of entire cloud. Each application have different pattern of shared resource and it causes the performance variabilty of co-running application. Despite many prior studies on interference in single-node systems, the interference behaviors of distributed applications have not been investigated thoroughly. In distributed parallel applications, a local interference in a node can affect the whole execution of the application spanning many nodes. This dissertation studies an interference modeling methodology for distributed applications to predict the performance under interference in consolidated clusters. We characterize the effects of interference for various distributed applications over different interference settings, and analyzes how diverse interference intensities on the multiple nodes affect the performance. Using the proposed method, we develop a profile-based interference-aware placement algorithm based on simulated annealing to deal with two purposes, efficiently consolidate multiple distributed applications and QoS-Aware placement.
Even though, profile-based interference-aware placement has a limitation due to its internal characteristic. First, profiling stage is needed before the new application scheduled. Second, the same kind of co-runner must be executed until the target workload ends. Third, several workload combination cannot be co-located due to the internal existance of interference for guaranting the high QoS. To solve limitation of profile-based study, we propose an on-line based interference aware performance estimation. By estimating the performance dynamically, the profile stage is needless, performance estimation is available even though the co-runner changes, and guaranting the target QoS for every workload combination is available by adjusting the cpu utilzation of co-runner.
클라우드 컴퓨팅 기술의 발달로 인해, 클라우드 자원을 이용한 병렬 과학 응용 프로그램 실행에 대한 관심이 높아지고 있다. 병렬 과학 응용 프로그램은 각 응용마다 서로 다른 양의 리소스를 요구하며, 이런 다양한 리소스 요구를 만족하기 위해 클라우드 서비스 제공자들은 컴퓨팅 코어 및 메모리 양을 다양화 하여 많은 종류의 가상 머신을 제공하고 있다. 병렬 과학 응용 프로그램을 클라우드 환경에 실행 했을때 가격과 실행 시간은 어떤 종류의 가상 머신을 사용했느냐, 가상 머신이 실행되는 클라우드의 공유 자원 사용으로 인한 간섭이 얼마나 되느냐에 따라 달라지게 된다. 그러나 현재 클라우드 사용자들은 그들의 요구에 적합한 가상머신을 선택하는데 있어, 다른 도움 없이 본인들의 판단에 의존하고 있으며, 이는 때때로 부적합한 선택을 야기한다.
본 박사 학위 논문에서는, 분자 동역학 시뮬레이션 프로그램을 실행 할 때, 이용자가 요구하는 제반 조건을 만족하는 최적의 가상머신을 추천해주는 프레임워크를 제안하고자 한다. 이 프레임워크는 여러 종류의 가상머신으로 구성한 다양한 가상 클러스터 환경에서 실행 시간 및 그에 따른 비용을 추출하여, 이 정보를 기반으로 인공 신경망을 구축한다. 이 인공 신경망을 통해 현재 실행하려는 조건에서 사용자의 요구사항에 가작 적합한 가상 머신 및 메모리 양을 제안하여 최적의 가상 클러스터 환경을 구축하는데 도움을 주고자 한다.
한편 가상머신들간의 간섭 현상이 존재 할 때 실행 시간을 예측하는 것은 전체 클라우드 리소스들을 최적화하여 사용하는 것과는 관계가 없다. 각 응용프로그램들은 공유 자원을 사용하는 각자의 고유한 패턴이 있으며, 이러한 공유 자원의 사용은 같이 실행되는 응용프로그램들의 성능 편차를 야기한다. 단일 노드에서 일어나는 성능 간섭현상에 대해서는 많은 연구가 존재하나, 병렬 컴퓨팅 프로그램이 실행되는 다중 노드에서 일어나는 성능 간섭 현상에 관해서는 깊은 연구가 이루어지지 않았다. 병렬 컴퓨팅 프로그램 환경에서는 하나의 지역 노드에서 일어난 간섭 현상이 전체 노드로 전파되어 성능 저하를 일으킬 수도 있다. 본 논문에서는 클러스터 환경에서 병렬 컴퓨팅 프로그램의 성능을 예측하기 위해 복잡한 간섭 현상을 모델링하는 기법을 연구하였다. 우리는 다양한 종류의 병렬 컴퓨팅 프로그램의 실행시간을 다양한 간섭 조건에서 실험하여, 간섭 현상의 특징을 파악하였으며, 여러 노드에 걸친 간섭 현상의 강도에 따른 성능 변화도 분석하였다. 이와 같은 방법론을 이용하여, 우리는 프로파일 기반의 간섭을 고려한 프로그램의 배치 알고리즘을 담금질 기법을 이용하여 개발하였다. 이 개발론은 두 가지 목표에 사용되었는데, 첫째는 여러개의 병렬 프로그램을 최적화하여 배치하는데 사용되었으며, 둘째로 목표 병렬 컴퓨팅 프로그램과 배치 프로그램이 동시에 실행되는 환경에서, 목표 프로그램의 QoS를 맞추는 배치 작업에 사용되었다.
그럼에도 불구하고, 프로파일 기반 연구는 몇가지 내재적 한계점을 지니고 있다. 첫째로 새로운 응용 프로그램이 스케줄링 될 경우 이 응용을 다양한 간섭 환경에서 분석 해야하는 과정이 필요한 것이며, 둘째로 목표 프로그램의 실행이 끝날 때 까지 간섭 현상을 일으키는 응용 프로그램과 동일한 프로그램이 계속 실행되어야 하며 중간에 다른 프로그램으로 실행될 수 없다는 것이다. 마지막으로 QoS를 보장하는 시스템을 구축 할 경우, 동시에 실행되는 응용프로그램이 일으키는 간섭 현상 자체로 인해 같이 배치 할 수 없는 경우가 존재할 수 있다. 이러한 프로파일 기반 연구의 내재적 한계점을 극복하기 위해 동적으로 간섭 현상을 인식하여 성능을 예측하는 기법을 제안하고자 한다. 이 경우 성능을 매 순간 즉각적으로 예측할 수 있기 때문에 처음 배치되는 응용프로그램이라 하더라도, 다양한 간섭환경에서 분석해야 할 필요가 없으며, 중간에 같이 실행되는 응용 프로그램이 바뀌더라도, 목표 응용 프로그램의 성능을 동적으로 예측하여 대응할 수 있으며, 같이 실행되는 응용 프로그램의 중앙처리장치 점유율을 동적으로 조절하여 목표 응용 프로그램의 어떤 프로그램 조합이더라도 QoS를 보장할 수 있다.
