Grid computing has emerged as a global cyber-infrastructure for the Next-Generation of e-Science applications by integrating large-scale, distributed and heterogeneous resources. As many of the large-scale scientific applications executed on Grids are expressed as complex scientific workflows, workflow management has emerged as one of the most important Grid services in the past few years. Scientific workflows can be defined as the aggregation of Grid application services, which are executed on distributed Grid resources in a well-defined order to satisfy the QoS (Quality of Service) requirements. In order to support complex scientific workflows, distributed resources such as computational devices, data, applications, and scientific instruments need to be orchestrated while managing the application workflow operations within Grid environments. Moreover, since different users or applications may have different expectations and requirements, there is no single best solution for mapping workflows onto resources for all workflow applications. It means that the scheduling scheme must be dynamically chosen according to the QoS requirements. Therefore, a powerful and flexible management system is required which has not only functionalities for integrating workflow management with resource management system, but also various scheduling schemes for supporting different applications. Hence, this dissertation represents an efficient way to integrate workflow management with resource management system for QoS guarantee and workflow scheduling schemes for mapping scientific workflow applications to distributed resources based on specified QoS constraints.
Thus, this dissertation makes several contributions towards improving Grid workflow management systems, and particularly towards advancing the area of Grid workflow scheduling.
The major contributions are: (i) proposed an adaptive resource management system based on active workflow control scheme and its architecture to integrate resource management with workflow management by applying the policy based management for flexible and scalable QoS management; (ii) developed a cost-optimal policy decision scheme by using the Markov Decision Process (MDP) to find optimal candidate resources in terms of system and network QoS requirements; (iii) developed algorithms for scheduling workflows with QoS constraints in a sense of deadline and budget; (iv) designed an efficient scheduling scheme using heuristics to solve multi-objective optimization problem in the utility Grid; (iv) developed cooperative and non-cooperative SLA-aware resource scheduling schemes for active workflow control to solve multi-objective optimization problem; (v) implemented and evaluated a collaborative computing system based on active workflow control schemes and showed the improvement and effectiveness of the proposed system in a sense of applicability of collaborative workflow applications and satisfying various users` SLA.
Grid computing has emerged as a global cyber-infrastructure for the Next-Generation of e-Science applications by integrating large-scale, distributed and heterogeneous resources. As many of the large-scale scientific applications executed on Grids are expressed as complex scientific workflows, workflow management has emerged as one of the most important Grid services in the past few years. Scientific workflows can be defined as the aggregation of Grid application services, which are executed on distributed Grid resources in a well-defined order to satisfy the QoS (Quality of Service) requirements. In order to support complex scientific workflows, distributed resources such as computational devices, data, applications, and scientific instruments need to be orchestrated while managing the application workflow operations within Grid environments. Moreover, since different users or applications may have different expectations and requirements, there is no single best solution for mapping workflows onto resources for all workflow applications. It means that the scheduling scheme must be dynamically chosen according to the QoS requirements. Therefore, a powerful and flexible management system is required which has not only functionalities for integrating workflow management with resource management system, but also various scheduling schemes for supporting different applications. Hence, this dissertation represents an efficient way to integrate workflow management with resource management system for QoS guarantee and workflow scheduling schemes for mapping scientific workflow applications to distributed resources based on specified QoS constraints.
Thus, this dissertation makes several contributions towards improving Grid workflow management systems, and particularly towards advancing the area of Grid workflow scheduling.
The major contributions are: (i) proposed an adaptive resource management system based on active workflow control scheme and its architecture to integrate resource management with workflow management by applying the policy based management for flexible and scalable QoS management; (ii) developed a cost-optimal policy decision scheme by using the Markov Decision Process (MDP) to find optimal candidate resources in terms of system and network QoS requirements; (iii) developed algorithms for scheduling workflows with QoS constraints in a sense of deadline and budget; (iv) designed an efficient scheduling scheme using heuristics to solve multi-objective optimization problem in the utility Grid; (iv) developed cooperative and non-cooperative SLA-aware resource scheduling schemes for active workflow control to solve multi-objective optimization problem; (v) implemented and evaluated a collaborative computing system based on active workflow control schemes and showed the improvement and effectiveness of the proposed system in a sense of applicability of collaborative workflow applications and satisfying various users` SLA.
??
그리드 컴퓨팅은 대규모의 분산된 이기종 자원을 연동하여 차세대 e-사이언스 응용을 위한 글로벌 사이버인프라로써 부각되고 있다. 그리드 기반의 초고속 인터넷망을 통해 시간과 공간에 구애받지 않고 연구자, 연구 장비, 연구정보 등 연구 자원을 동시에 활용하는 연구 활동이 가능하다. 기존 연구 활동은 지역적으로 접근할 수 있는 물적인적 자원으로 진행되었다면, e-사이언스 환경에서는 원격에 있는 슈퍼컴퓨터, 첨단 장비, DB 문서 등을 공동으로 활용하고, 협업 회의를 통해 인적자원과 정보를 공유할 수 있다. 과학영역에서의 워크플로우는 그리드 상에서 수행되는 응용의 집합체로 정의될 수 있으며, 각 응용들은 사용자의 QoS 요구사항을 만족하면서 정의된 순서에 따라 수행이 이루어져야 한다. 최근에는 대규모 과학 응용들이 융??복합 특성을 가짐에 따라 복잡한 과학영역의 워크플로우를 지원하기 위해서는 그리드 환경에서 수행되고 있는 워크플로우 응용을 관리하면서 계산 장치, 데이터, 그리드 상에서 수행되는 응용, 과학 실험 장비 등의 분산된 자원들을 효율적으로 조직할 수 있어야 한다. 더욱이, 다양한 과학 분야로부터 다양한 응용이 존재함에 따라 각 사용자 또는 응용은 서로 다른 요구사항과 성능적인 기대치를 가지고 있기 때문에 사이언스 워크플로우와 이를 처리할 자원을 매핑하기 위한 단일한 최적의 솔루션은 존재하지 않는다. 이것은 QoS 요구사항에 따라 동적으로 스케줄링 기법이 선정되어야 함을 의미한다. 그러므로 하부의 그리드 자원관리와 상부의 워크플로우 관리를 통합할 수 있는 기능을 제공할 뿐만 아니라 다양한 응용을 지원할 수 있는 다양한 스케줄링 기법을 가지는 매우 효과적이며 유연한 워크플로우 관리 시스템이 필요하다.
지금까지 그리드에서 자원관리 시스템을 주제로 하는 많은 연구들이 선행되었다. 그러나, 대부분의 현존하는 그리드 자원관리 시스템은 여전히 실행 성능의 최대화나 관리 비용의 최적화를 위한
시스템 중심의 자원 관리 기법이기 때문에 사용자 중심의 QoS 보장을 위한 컴퓨팅을 실현하기에는 한계가 있다. 한편, 워크플로우 관리 시스템과 자원 관리 시스템을 통합하기 위해서 정책 기반의 관리 기법이 제안되었다. 하지만, 정책 결정 과정의 복잡성, 특정 관리 시스템에 한정된 모델 등으로 인해 실제 적용에 한계가 있었다.
상기에 제시된 문제를 해결하기 위해 본 논문은 QoS 보장을 위한 그리드 자원 관리와 워크플로우 관리를 통합하기 위한 효율적 방법론에 대해 연구하였다. 또한, 명시된 QoS 제약조건을 기반으로 워크플로우 응용과 분산된 자원을 매핑하기 위한 워크플로우 스케줄링 기법에 대해 논의한다. 먼저, 본 논문에서는 유연하고 확장이 가능한 QoS 관리를 위하여 정책 기반의 관리 기법을 적용하여 워크플로우 관리와 자원 관리를 통합하기 위한 동적 워크플로우 제어 기법에 근거한 적응형 자원관리 기법 및 구조를 제안한다. 자원 정책, low-level 정책, high-level 정책으로 구성되는 정책 집합을 통해 워크플로우 관리 시스템과 자원 관리 시스템을 연동하고 사용자의 QoS가 변화함에 따라 적응적으로 자원 스케줄링 기법을 제어하도록 하였다.
또한, 시스템 및 네트워크 QoS 요구사항으로부터 최적 가용 자원 선정을 위한 마코프결정 과정에 근거한 비용 효율적인 최적 정책 결정 기법을 연구하였다. 본 연구에서는 효율적인 워크플로우 스케줄링을 위해 실시간 자원 상태 및 QoS 정책을 기반으로 가용 자원 집합을 생성하여 요청된 워크플로우 작업에 따라 자원을 할당하는 기법에 대해 제안하였다. 성능 평가를 통해 제안하는 기법이 관리의 복장성이 증가함에도 요청된 작업의 SLA 수준에 맞는 범위 내에서 비용 최소화된 가용 자원 집합을 생성할 수 있음을 보였다. 또한, 효율적인 부하할당 방법을 통해서 부하의 균형을 유지하고 작업 처리 시간을 줄일 수 있음을 보여준다.
사용자의 작업에 대한 최종기한(deadline) 및 작업 실행 서비스에 대한 지불 가능한 예산(budget)을 SLA(Service Level Agreement)로 정의하고, SLA와 실시간 그리드 자원 상태 정보 및 사용자 작업의 특성에 근거하여 사용자의 요구 서비스 품질을 만족시킬 수 있는 최적 작업 실행 정책의 생성에 대한 연구를 수행하였다. 또한, 최적 작업 분할 방법을 통해 사용자가 요구하는 작업의 서비스 수준을 만족시킬 수 있도록 제공함으로써 복잡한 자원 분포 환경에서 사용자의 QoS를 보장하고 서비스 제공자의 이윤을 증대시키고 더 많은 작업을 수용할 수 있다. 성능 평가를 통해 제안한 기법들이 작업의 deadline을 만족하면서도 더 많은 작업을 수용할 수 있으며 서비스 제공자에게 더 많은 이윤을 발생시키는 데에 효과가 있음을 입증하였다.
일반적으로 그리드는 사용자, 브로커(Broker), 제공자로 구성되어 있으며 브로커는 사용자로부터 제출된 워크플로우 작업을 제공자에게 할당하는 스케줄링을 제공한다. 각 작업을 각 자원에 할당함에 있어 자신들의 QoS 요구조건을 최적화하고자 경쟁관계에 있는 각 자원들은 제한된 시스템 자원 상황 하에서 자신의 효용을 극대화하려는 경향을 가지며 이것은 게임이론 기반 접근법을 이용하여 해결할 수 있다. 다목적 최적화 문제를 해결하기 위해 협력적 또는 비협력적 SLA 인지형 자원 스케줄링 기법에 대해 연구하였다. 사용자를 위한 QoS를 보장하는 작업처리 성공률, 브로커를 위한 이윤, 자원 제공자를 위한 시스템 시스템 사용률을 최적화하기 위해 휴리스틱 알고리즘을 개발하여 성능평가를 수행하였다. 제안하는 기법은 선입선출 스케줄링, 최단 작업 우선 스케줄링, FCFS(First Come First Serve), SJF(Shortest Job First), 그리고 EDF(Earliest Deadline First)와 비교하여 최적화 관점에서 효율적임을 보여준다.
마지막으로, 동적 워크플로우 제어 기법에 근거한 적응형 자원관리 시스템을 기반으로 협력 컴퓨팅(collaborative computing) 시스템인 OSICC(e-Organ Simulator Integrated Collaborative Computing) system을 개발하였다. 또한, e-Organ 시뮬레이션의 효율적 관리를 위해 워크플로우 디자이너, 워크플로우 명세어, 워크플로우 스케줄링 엔진 및 태스크 관리자를 포함하는 워크플로우 관리 엔진을 개발하였다. 개발된 테스트베드 상에서의 성능평가를 통해 제안하는 시스템이 다양한 사용자의 SLA 보장 및 협력 워크플로우 응용의 적용 가능성의 관점에서 효율성과 성능향상을 보였다.
