Cloud computing is a logical resource pool paradigm for multi-tenants and their application services connected by Internet. By virtue of the capability to providing an easily and immediately available resources, the cloud computing paradigm extends the legacy HPC and HTC environments by providing the flexible provision of the infrastructure based on scaling-out and scaling-up. In many scientific fields, such as bioinformatics and astronomy, applications are composed of complex workflow tasks and generate huge amounts of data continuously, which require large space of storage as well as high-speed computing resource. DNA sequence analysis, where very large data sets are now generated at reduced cost using the Next-Generation Sequencing (NGS) methods, is an area which can obtain the cost-effective cloud-based infrastructures. It has become major challenge for these datasets to transfer, store, and analysis. Even though many approaches have been proposed in distributed solutions The unpredictability and the fluctuation of the resource demands vary at time, thus dynamical provision of the resource is core part of the application level middleware systems. Furthermore, the quality-of-service (QoS) requirements of applications, as opposed to the traditional best-effort approach, is more important to maximize the utilization of the resource sharing and outsourcing. However, provisioning cloud resource accompany with the leasing cost. So, the efficient workflow management issues become more important on the cloud resource management characteristics.
This dissertation makes several contributions toward integrating the scientific workflow with cloud environment. The major contributions are: (i) propose a cloud resource broker system which extends the legacy workflow management system to the cloud environment. (ii) propose a cloud workflow scheduling mechanism incorporating with cost adaptive resource provisioning as well as the fine-grained VM resource management heuristics for minimizing resource leasing cost as well as increasing the resource utilization. Uncertainty and the QoS of the demands and the cost of the resource prices are major parameter to optimally adjust the trade-off between on-demand and reserved instance prices. (iii) propose a data provisioning service as a component of the workflow data scheduling for active data replenishment mechanism in according to the processing rate for distributed data analysis platform. (iv) experimental evaluation of the cloud resource broker system with bio-workflow computing applications - cloud chemical mapping analyzer and pipelined genome sequencing tool which are deployed on cloud environment applied the proposed schemes.
생명공학분야, 고에너지 물리분야, 기상관측 시뮬레이션과 같은 복잡한 과학용 응용 어플리케이션 (Scientific Applications)들은 주로 대용량의 데이터 분석을 목적으로 한 고성능 컴퓨터와 각종기기들이 고속네트워크로 서로 연동되어 가상조직으로 구성된 컴퓨팅 워크플로우로 구성된다. 이러한 과학응용을 클라우드에서 효과적으로 처리하기 위한 고성능 컴퓨팅 시스템과 이를 위한 작업관리와 자원관리에 대한 연구가 많이 수행되어왔다.
이러한 클라우드 환경은 자원의 사용자(소비자)와 브로커(자원관리자), 자원제공자로 그 역할이 나누어지는 구조를 가지고 있으며, 이러한 프레임워크를 실현하기 위해 분산 컴퓨팅 기술, 분산 데이터 저장 기술, 클러스터 관리 기술 등의 요소 기술이 필요로 하며, 특히 자원들에 대한 프로비저닝 기법과 자율적 작업 관리의 기능이 클라우드 환경과 같은 대규모 시스템을 위해 필수적 기술이라 할 수 있다.
따라서 논문에서는 클라우드 환경에서 과학용 어플리케이션 특히, 바이오 워크플로우 컴퓨팅을 위한 비용 적응형 자원 브로커 시스템을 제안하고 있으며 그 핵심 기술로서 서비스 수준에 근거한 비용 적응형 클라우드 VM 관리 기법, 대규모 데이터 분석을 위한 예측 기반 부하 분할 및 데이터 공급 기법, 및 제안하고 있는 두 요소 기술을 분자 동역학 워크플로우 및 차세대 게놈 처리 기술 워크플로우 컴퓨팅 기술에 적용한 클라우드 자원 브로커 시스템 구현 및 실험적 평가 결과를 포함하고 있다.
서비스 수준에 근거한 비용 적응형 클라우드 VM 관리 기법에서는 가상화 기술을 이용하여 클라우드의 사용량을 사용자의 요구사항에 따라 동적으로 제공하는 기법으로서 현재 가장 주목되고 있는 요소 기술이다. 특히, 클라우드 자원을 관리 유지하는 입장에서 클라우드 운영자의 경제적 이익과 밀접한 관련을 갖는 자원 관리 기술은 최소한의 비용으로 클라우드 사용자의 요구사항에 따라 자원을 효과적으로 제공할 수 있어야 한다. 현재 가상화 된 자원 상태에 대한 예측을 기반으로 동적인 자원 관리를 제공하는 기술들이 다양하게 연구되고 있는데, 논문에서는 VM 할당을 할 때 발생하는 비용의 시간 변화분을 서비스 요구수준의 정도(QoS)에 비례하여 VM을 사전에 할당하는 예약 기반의 VM 요구 비용 정책과 자원관리를 요구하는 응용 서비스의 조건이 시간에 따라 급격히 바뀌어 동적 VM자원을 요구하게 되는 수간을 Heuristics로 문제를 해결하고자 하였다. 특히, 사용자 SLA 수준을 통계적으로 예측하기 곤란한 경우 동적으로 VM을 할당할 때 기 확보된 VM 자원의 가용도에 따라, 자원을 재사용, 상호교환, 처리 작업 이동 등과 같은 3가지 형태의 자원 관리 정책을 VM 할당 기법에 연계하여 보다 성능을 향상시킬 수 있는 새로운 VM 관리 기법을 창안하고 클라우드 실험 환경에서 특성과 성능을 평가하였다.
대규모 데이터 분석을 위한 예측 기반 부하 분할 및 데이터 공급 기법에서는 다중의 클라우드 데이터 센터내에서 분산되어 처리하고자 하는 경우 부하 불균형에 의한 VM 자원 낭비 및 작업 완료 시간 지연의 방지를 위한 클라우드 데이터 프로비저닝 기법에 대해서 논하고 있다. 논문에서는 섭동이론을 기반으로 다수의 VM내에서 수행중인 작업의 실행 관리를 위한 제어 기법을 모델링하고 필요한 VM 양을 작업 실행율과 데이터 공급 상태에 따라 동적으로 예측하여 관리하는 시스템 제안하였다. 특히, 상기의 VM 관리 기법과 연동하여 응용의 서비스 품질을 보장하고 VM 할당 비용을 비용을 최소화를 목표로 하고 있다. 특히 본 연구에서는 기존의 부하 분할 기법의 이론적인 한계를 극복하고 능동적며 자율적인 데이터의 공급 관리를 제어하는 데이터 공급 제어기를 기반으로 자신이 보유한 데이터의 양을 데이터를 소비하는 데이터 처리율과 원격의 클라우드 브로커부터 데이터를 보충하는데 걸리는 데이터 보충율 및 이들의 확률모형을 기반으로 자체적으로 데이터 보유량을 결정하게 되며 특히 그 확률 과정의 시간적 변화의 유동량을 미세 섭동 분석(Infinitesimal perturbation analysis: IPA) 의 이론적 근거를 응용하여 그 변화량을 추정하고 데이터 보유량을 최적으로 제어하는 기법을 고안하였다.
위의 제안된 기법들은 연구실에 구축한 다중 클라우드 테스트베드 상에서 실험적으로 검증하였다. 먼저 바이오 워크플로우 컴퓨팅 응용으로서 분자 동역학 해석 워크플로우 실험에서는 클라우드 자원 브로커를 통해 32개의 VM 자원을 작업의 유입량에 근거하여 동적으로 할당하여 작업을 수행하도록 적용하였다. 실험 과정은 다중 사용자들에 의한 다중의 실험 데이터를 입력값으로 시간에 따라 동적으로 그 값이 변화되도록 결정하였으며 VM 자원의 비용, 이용률 및 어플리케이션의 평균 반응 시간 및 대기 시간을 성능 요소로 측정하였다. 결과적으로, 사용자 요구 사항 만족시킴과 동시에 클라우드 자원 사용 비용에 있어서 기존의 접근 방법 대비 최대 40\% 이상 감소시킬수 있었으며 VM의 이용률 또한 최대 30\%이상의 향상을 보였다. 추가적으로 다중의 클라우드 상에서의 게놈 분석 시스템에 있어서 기존의 BWA툴을 수정함으로서 분산 병렬 처리가 가능하게 하였고 제안하는 부하 분할 기법을 적용하여 데이터 전송 부하를 최대 90%이상 전체 완료 시간의 최대 6% 이상을 감소시킬수 있었다. 결론적으로 제안하는 기법은 자원 관리 브로커에 적용하여 바이오컴퓨팅 응용에 실제 적용되수 있을것으로 사료된다.
