Recently, cloud computing is one of the most popular technology on the computer science, and a lots of enterprises and organizations try to utilize it due to benefits of low cost, scalabiity, elasticity, and so on. Large-scale data computing platform such as MapReduce also begins shifting to cloud from these advantages. Despite this setup is commonly used nowadays, the collaboration between cloud resource management and virtual MapReduce cluster has been rarely tried yet.
We proposes the resource reconfiguration mechanism between virtual machines in the cloud environment, called Dynamic Resource Reconfiguration(DRR). This mechanism is based on the CPU and memory hot-plugging of virtual machine. By using this technique, cloud customer can allocate resource to each node in virtual cluster dynamically as if he lease a big resource pool from cloud provider.
DRR can break physical limitation of virtual MapReduce cluster, and it is able to change existing task scheduling and resource management mechanisms which are based on physical MapReduce cluster. Among these possibilities, we focused on improving MapReduce performance by achieving data locality of map tasks by using DRR. We evaluated throughput of MapReduce jobs on VRM, and we found out that it acquire about 35% speed-up on I/O-heavy workloads, and 17% speed-up on mixed workloads. Also, MapReduce with DRR has compatibility with existing job schedulers because it is independent with job scheduling.
최근에 클라우드 컴퓨팅은 낮은 가격, 유연성, 확장성 등의 장점에 힘입어 여러 회사와 기관 등에서 사용되고 있다. 많은 양의 데이터를 한꺼번에 처리하고자 하는 맵리듀스(MapReduce)와 같은 분산 컴퓨팅 플랫폼의 경우에도 점점 더 많은 유지, 관리 비용을 필요로 하는 개인 전용 클러스터를 구축하지 않고 클라우드를 이용하는 사례가 늘고 있다. 하지만, 맵리듀스는 클라우드에서 단순히 가상 머신(Virtual Machine)을 할당 받아 물리적 머신(Physical machine)처럼 사용하고 있을 뿐 기존 물리적 클러스터를 기반으로 한 구조를 그대로 유지하고 있다.
우리는 클라우드 환경에서 가상 클러스터 내에서의 리소스 이동을 가능하게 하는 메커니즘을 제안하고 동적자원할당(Dynamic Resource Reconfiguration)이라고 부른다. 이는 가상 머신의 CPU와 메모리 핫플러깅(hot-plugging) 기술을 기반으로 하고 있으며, 사용자는 마치 가상 클러스터의 전체 리소스를 하나의 거대한 리소스 풀(Resource Pool)과 같이 사용할 수 있다. 물리적 맵리듀스 클러스터가 고정적인 물리적인 리소스를 갖는다는 한계를 넘어서서 가상 맵리듀스 클러스터는 기존 맵리듀스의 작업 스케쥴링과 리소스 관리 등 많은 부분을 개선할 수 있다.
이 논문에서는 가상 자원 이주기법을 통한 스케쥴링을 이용하여 맵리듀스의 맵 작업의 데이터 지역성을 높여 맵리듀스의 퍼포먼스를 높이는 것을 목표로 한다. 우리는 일반적으로 사용되는 것으로 알려진 맵리듀스 작업들에 대하여 평균적으로 약 17% 정도의 퍼포먼스 개선을 보였다. 또한 가상 자원 이주기법을 이용한 작업 스케쥴링은 기존 스케쥴러와 독립적이기 때문에
기존 맵리듀스와 호환성을 갖는다.
