With ever increasing demands on large scale data analysis, the importance of distributed data-oriented computing such as MapReduce has been growing precipitously. Meanwhile, cloud computing has emerged to provide flexible computing resources as a utility, replacing privately owned computing clusters. The advent of such cloud computing opens a new opportunity to harness the flexibility of cloud resources for the massive distributed platforms. However, the current distributed data-oriented platforms on the cloud do not fully uti-lize such resource flexibility of the cloud. On the cloud, a MapReduce platform runs on a virtual cluster, con-sisting of many virtual machines (VMs). Even though each user job may exhibit different usages of resources, the current cloud-based platforms allow only a fixed amount of each resource type for a VM, leading to frequent resource imbalances across VMs.
In this dissertation, I propose a dynamic resource management system for MapReduce platforms on the cloud, which dynamically reconfigures the resource of each node with VM reconfiguration. The system uses two control modes, depending on the target resource type. Firstly, each node dynamically adjusts the number of slots, resource unit in MapReduce, to mitigate memory and I/O bottlenecks. By controlling the number of outstanding tasks, the slot adjustment reduces the potential memory and I/O bottlenecks in each node. Secondly, the proposed system exploits the unique capability of virtual clusters with the dynamic reconfiguration of CPUs in each VM. With the combination of CPU and slot controls, the second technique can mitigate the computational bottlenecks in addition to memory and I/O delays. By applying these simple policies to local nodes in a distributed manner, the system can achieve improved performance and resource efficiency without the complexity of global resource control. For the evaluation, I constructed a small-scale Hadoop cluster, an open source MapReduce platform, and measured the performance of the proposed techniques against the baseline Hadoop system. The experimental results show that the proposed reconfiguration leads to better performance than the baseline system, and adapts to changing resource conditions, while maintaining the constant service cost.
대규모 데이터 처리에 대한 수요가 증가하면서, 맵리듀스와 같은 분산 데이터 컴퓨팅의 중요성이 커지고 있다. 반면, 클라우드 컴퓨팅으로 인해 사용자는 자신의 컴퓨팅 클러스터 대신 유틸리티 같은 컴퓨팅 리소스를 사용할 수 있다. 즉, 클라우드 컴퓨팅의 출현으로 거대한 분산 플랫폼의 클라우드 리소스를 융통성 있게 사용할 수 있다. 그러나 현재 클라우드의 분산 처리 플랫폼은 리소스를 충분히 잘 사용하고 있지 않다. 클라우드에서 맵리듀스 플랫폼은 가상 머신으로 구성된 가상 클러스터 위에 존재한다. 사용자가 처리하려고 하는 잡이 서로 다른 리소스 사용 방식을 가지고 있음에도 불구하고, 현재 클라우드 기반의 플랫폼은 가상 머신의 리소스 종류 별로 고정된 양만을 허용하고 있다. 이것은 가상 머신들 사이에 리소스 불균형을 가져올 수 있다.
이 논문는 각 노드의 리소스를 동적으로 조정하는 가상 맵리듀스 클러스터 관리 기법을 제안한다. 제안된 논문에서는 리소스의 종류에 따라 두 가지 제어 방법을 사용한다. 먼저, 각 노드는 동적으로 맵리듀스의 리소스 단위인 슬롯의 수를 조절하여 메모리와 디스크 병목현상을 완화시킨다. 한 가상 머신에서 수행되는 태스크의 수가 지나치게 많을 경우, 이러한 슬롯 조정은 잠재적인 메모리, 디스크 병목 현상을 줄일 수 있다. 또한, 시스템은 각 가상머신의 컴퓨팅 파워를 동적으로 조정하기 위해 가상 클러스터의 특성을 이용한다. 이 두 가지 제어 방법을 모두 이용한 두 번째 방법을 통해, 시스템은 메모리와 디스크 지연을 완화하면서 컴퓨팅 파워의 병목 현상도 막을 수 있다. 이렇게 분산된 노드에서 간단한 알고리즘을 적용함으로써 시스템은 복잡한 전체 리소스 관리 없이도 성능과 리소스 효율성을 향상시킬 수 있다. 성능 평가를 위해 맵리듀스의 오픈 소스인 하둡 기반의 소규모 클러스터를 구축하고, 기존의 하둡 시스템과 제안한 시스템의 성능을 측정하여 비교하였다. 실험 결과로 인해, 제안된 시스템이 기존 하둡 보다 더 나은 성능을 보여줌을 알 수 있었고, 전체 비용은 유지하면서 리소스의 상황에 적절하게 반응하여 조정하는 것을 확인할 수 있었다.
