In the last decades, there has been an explosion in the volume of data to be processed by data-intensive computing applications. As a result, processing I/O operations efficiently has become an important challenge. Although SSDs (solid state drives) can be an effective solution because of the fast I/O performance, there are still the overheads of I/O in the application and SSDs. Using high-level semantics can reduce the overhead of I/O in the SSD, however the simple block-level interface which is widely used for storage devices hinders the optimization of the SSD. The concept of in-storage processing can remove unnecessary data transfer and reduce the I/O overhead of the application by offloading a part of the data-processing tasks.
This dissertation introduces intelligent flash-based storage device, called active SSDs, which utilize high-level semantics and in-storage computing to improve the I/O performance for data-intensive computing. Active SSDs improve the performance and reliability of SSDs using the high-level information transferred via the object-based interface which provides general abstraction layer to inform the properties of data. To support the object-based interface, this paper redesigns and implements the full software stacks on an ARM-based storage prototype. The FTL optimization with several object-aware schemes reduces the overhead of garbage collection inside SSDs. Active SSDs also improve the performance of the Hadoop application using a proposed in-storage processing scheme called ActiveSort. ActiveSort is a novel mechanism using the concept of in-storage processing to improve the external sorting algorithm which is used extensively in the data-intensive computing frameworks such as Hadoop. By performing merge operations on-the-fly within the SSD, ActiveSort reduces the amount of I/O transfer and improves the performance of external sorting in Hadoop. Several evaluations on the real prototype indicate that active SSDs improve the performance, energy efficiency, and the lifetime of SSDs for various applications.
최근 데이터 집약형 컴퓨팅 응용에 의해 처리되는 데이터 양이 폭발적으로 늘어나고 있다. 이를 위해 데이터 입출력 명령을 효율적으로 처리하는 것이 중요한 도전이 되어왔다. 비록 솔리드 스테이트 드라이브(에스에스디)는 기존 저장장치보다 빠른 입출력 성능 때문에 응용의 성능을 높이기 위한 효율적인 해결책이 될 수 있지만, 여전히 응용 프로그램과 에스에스디에서 입출력과 관련한 오버헤드가 남아있다. 고 수준의 데이터 의미를 사용하면 에스에스디의 입출력 오버헤드를 줄일 수 있지만, 저장장치 접근을 위해 널리 사용되는 간단한 블록 수준 인터페이스는 이를 이용한 에스에스디 최적화를 방해하고 있다. 저장장치 내 처리 개념을 이용하면, 데이터 처리 작업의 일부를 저장장치에서 수행함으로써 불필요한 데이터 이동을 제거하고 응용의 입출력 오버헤드를 줄일 수 있다.
본 박사논문에서는 능동형 에스에스디라고 지칭하는, 고 수준의 데이터 의미와 저장장치 내 처리 기법을 이용하여 데이터 집약형 컴퓨팅의 입출력 성능을 높일 수 있는 지능형 플래시 기반 저장장치를 제안한다. 능동형 에스에스디는 데이터의 특성 전달이 가능한 일반적 수준의 계층을 제공하는 객체 기반 인터페이스를 통해 고 수준의 데이터 정보를 전달 받아 저장장치의 성능과 신뢰성을 향상시킨다. 객체 기반 인터페이스를 지원하기 위해, 본 논문에서는 전체 소프트웨어 스택을 다시 디자인하고, 저장장치 프로토타입을 이용해 구현한다. 저장장치 내부적으로는 다양한 객체의 특성을 활용한 기법을 통해 플래시 변환 계층을 최적화하여 가비지 컬렉션의 오버헤드를 줄인다. 또한 능동형 에스에스디는 액티브소트라고 지칭하는, 본 논문에서 제안하는 저장장치 내 처리 기법을 이용하여 하둡 응용의 성능을 높인다. 액티브소트는 저장장치 내 처리 개념을 이용하여, 하둡과 같은 데이터 집약형 컴퓨팅 환경에서 주요하게 사용하는 외부 병합 정렬 기법의 성능을 향상시킨 새로운 기법이다. 결과가 필요할 때 저장장치 내부에서 데이터 병합 명령을 수행함으로써, 액티브소트는 외부 병합 정렬에 필요한 입출력 양을 줄이고 하둡의 성능을 향상시킨다. 본 논문에서는 실제 프로토타입에서의 다양한 실험을 통해, 능동형 에스에스디를 이용하여 여러 응용에 대해 성능과 전력 효율, 에스에스디의 사용 가능 시간을 향상시키는 것을 보인다.
