Multitenancy has gained growing importance with the development and evolution of cloud computing technology. In a multitenant environment, multiple tenants with different demands can share a variety of computing resources (e.g., CPU, memory, storage, network, and data) within a single system, while each tenant remains logically isolated. This useful multitenancy concept offers highly efficient and cost-effective systems without wasting computing resources to enterprises requiring similar environments for data processing and management. In this paper, we propose a novel approach supporting multitenancy features for Apache Hadoop, a large scale of distributed system commonly used for processing big data. Hadoop largely consists of HDFS responsible for storing and managing big data, YARN responsible for resource management and job execution management, and MapReduce as a programming model for data processing and analysis. We note that current Hadoop incurs many problems in system utilization due to its file-based management of metadata to which HDFS and YARN frequently refer for their operations, and also due to its limited resource (CPU and memory) management provided by YARN. These problems are also critical obstacles in providing multitenancy in Hadoop.
To solve these problems, we propose a RDBMS-based metadata management scheme and an advanced resource management framework for improving the functional aspects of overall Hadoop. For this, we first analyze the Hadoop framework focusing on HDFS and YARN. We next define the problems for supporting multitenancy caused by its metadata and resource management and formally derive the requirements for resolving these problems. Based on the requirements, we then design the details of Multitenant Hadoop that replaces the original HDFS and YARN with the advanced HDFS and Multitenant YARN.
Finally, through implementation of the proposed Multitenant Hadoop, we validate its correctness by experimental evaluation and we also show that Multitenant Hadoop satisfies all the derived requirements. The proposed Multitenant Hadoop significantly enhances the metadata and resource management scheme of Hadoop and, as a result, improves its stability, availability, and scalability. This can be much helpful in analyzing and proccessing data with high effectiveness for users who have difficulties with building large scale clusters.
클라우드 기술이 발전하면서부터 주목받기 시작한 멀티테넌시는 하나의 시스템을 별도의 기능 추가나 수정 없이 다양한 요구를 가진 여러 사용자(테넌트)들이 다양한 컴퓨팅 자원들인 CPU, 메모리, 스토리지 및 데이터 등을 함께 이용 가능하도록 하는 환경을 의미한다. 이는 유사한 데이터 관리 환경을 필요로 하는 기업들이 하드웨어 자원 낭비 없이 경제적이고 효율적으로 시스템을 도입하는데 유용한 개념이다. 본 학위 논문에서는 대용량 데이터 관리의 대표적 기술인 Hadoop을 대상으로 멀티테넌시 지원 방안을 연구한다. Hadoop은 SNS, 의료, 기상, IoT 등 다양한 데이터를 처리할 수 있는 오픈소스 프레임워크로서, 최신 버전은 크게 HDFS, MapReduce, YARN으로 구성된다. 본 논문에서는 이 중 자원 관리 및 잡 실행 관리를 담당하는 YARN과 파일 저장 관리를 담당하는 HDFS의 실행 구조를 개선한다. 기존 Hadoop은 YARN과 HDFS 오퍼레이션을 위해 참조하는 메타데이터를 파일 기반으로 관리하기 때문에 시스템 활용에 많은 문제점이 존재한다. 또한 YARN에서 CPU, 메모리 등의 한정된 자원만을 제어하고 사용자 및 잡(job)별 세밀한 자원 할당 역시 어려워 분산 시스템의 클러스터 자원 관리에 비효율적인 문제점이 발생한다.
이러한 문제 해결을 위해, 본 논문에서는 Hadoop의 메타데이터를 효과적으로 관리하고, 이를 통해 전체의 기능 향상을 제공하기 위해 RDBMS 기반의 새로운 메타데이터 관리 및 향상된 자원관리 방안을 제안한다. 이를 위해, 먼저 HDFS와 YARN을 중심으로 Hadoop 프레임워크를 분석하고 메타데이터와 자원관리로 야기되는 멀티테넌시 지원 문제점을 파악한다. 다음, 이를 해결하기 위한 요구사항을 도출하고, 이를 바탕으로 기존 HDFS와 YARN을 대체하는 향상된 HDFS와 멀티테넌트 YARN의 상세 설계 방안과 이를 기반으로 하는 멀티테넌트 Hadoop을 제시한다.
마지막으로 실제 구현 및 실험을 통해 멀티테넌트 YARN과 A-HDFS의 기능을 확인하고 각각의 요구사항이 만족됨을 검증한다. 제안하는 멀티테넌트 YARN과 A-HDFS의 설계를 바탕으로 구현된 멀티테넌트 Hadoop은 기존 Hadoop의 메타데이터와 자원 관리 방식을 획기적으로 개선하였으며, 결과적으로 시스템 전체의 안정성, 가용성, 확장성을 향상시킨다. 이는 대규모 클러스터 구축이 어려운 사용자들이나 다양한 분야의 데이터 과학자들이 효율성 높은 데이터 처리와 분석하는데 유용하게 사용될 수 있을 것이다.
