In this dissertation, we designed an efficient and reliable flash file system by reducing excessive garbage. The NAND flash can be read or programmed only in the unit of a page (512 B or 2 KB). Once a page is programmed, it cannot be overwritten before being erased. Hence, at least one page is consumed for writing even small amounts of data. This cause excessive garbage generation; and the excessive garbage will greatly hamper a life-span of the flash and performance. We focused three cases that generate too much excessive garbage.
First, the frequent writing of small amounts of data generate the excessive garbage. Thus, we propose a hybrid flash file system called HFFS, which combines both types of flash memory in the file system layer for reliable and durable embedded systems. The HFFS synchronously stores a small amount of data as a log in NOR flash because the NOR flash is byte-addressable. When the NOR flash logs enough data to fill a page of NAND flash, the data are merged and copied in the NAND flash. The HFFS therefore does not generate excessive garbage in the NAND flash in the synchronous appending of a small amount of data. Our HFFS prolongs the life span by four times longer and enhances the durability of written data more effectively than conventional NAND flash-based file systems. The HFFS also provides a single combined partition to facilitate its usage in applications.
Second, the frequent writing of metadata generates the excessive garbage. In order to reduce the excessive garbage in writing metadata, we propose two schemes for merging the writing of metadata so as to reduce the garbage of the NAND flash while ensuring file system consistency. The first is based on a RAM cache. By merging subsequent metadata updates in the RAM, the number of written pages in the NAND flash is reduced. However, the RAM cache is volatilized upon a crash, and thus the data durability is hampered. The second scheme uses the NOR flash for synchronously logging modifications of the metadata. The last modified metadata can be recovered from a crash, after scanning logs in the NOR flash.
Third, we present a scalable flash-aware file system called CFFS2, which stores indexes such as data pointers, directory contents, and inode map in the NAND flash. The proposed CFFS2 file system show scalable performance in mount time and memory requirement; however, it suffers from a snowball effect, which generates much excessive garbage to maintain indexes in the NAND flash. The snowball effect degrades the runtime performance of CFFS2, so that there was a trade-off between scalability and performance. In order to eliminate the trade-off, we proposed two methods to reduce excessive garbage in CFFS2. First, we introduced a new tree structure to decrease overheads in updating indexes in the flash. Second, we introduced a method to consolidate data and metadata of a small file, which does not need indexes. With the two proposed method, our CFFS2 improved run-time performance while preserving the scalability.
By reducing the excessive garbage, we could reduce the run-time performance and life-span, while preserving scalability and reliability of the file system.
본 논문에서는 노어 플래시 메모리에 데이터 병합 쓰기를 통하여 기존의 낸드 플래시 파일 시스템의 성능을 향상시키는 하이브리드 플래시 파일 시스템을 연구 하였다. 하이브리드 플래시 파일 시스템은 플래시 메모리의 두 가지 유형인 노어 플래시 메모리와 낸드 플래시 메모리에 기반하며, 각 유형의 장점을 활용한 것이다.
노어 플래시 메모리는 바이트 단위의 접근이 가능하고 읽기 성능이 우수하여 소량의 데이터를 기록하는데 이로운 반면, 낸드 플래시 메모리는 용량이 크며 쓰기 성능이 매우 우수하여 대량의 데이터를 기록하는데 이롭다. 이와 같이, 용량과 쓰기 성능상의 장점으로 인해 기존의 내장형 장치들의 저장 매체로 낸드 플래시 메모리를 장착하고 있으며, 이를 운용하기 위한 낸드 플래시 파일 시스템이 연구 및 개발 되어왔다.
하지만, 낸드 플래시 메모리는 페이지 단위로 기록 되어야 하는 제약으로 인하여 극히 소량의 데이터를 수정하더라도 최소 하나의 새로운 페이지를 소모해야 하며, 기 기록 되었던 페이지는 폐영역이 된다. 이로 인하여 소량 데이터의 수정이 빈번한 워크로드에서 과도한 폐영역이 생성되고 성능이 감소하며 낸드 플래시 메모리의 수명이 단축된다. 본 연구에서는 소량 데이터의 빈번한 수정으로 인하여 과도한 폐영역이 생성되는 워크로드를 아래와 같이 관찰하였고 이를 감소 시키기 하이브리드 플래시 파일 시스템을 설계하였다.
첫째, 차량용 블랙 박스 장치와 같이 빈번한 주기로 소량의 데이터를 안정적으로 기록해야 하는 내장형 장치에서 기존의 낸드 플래시 파일 시스템을 적용하면 과도한 폐영역이 생성된다. 본 연구의 하이브리드 플래시 파일 시스템은 소량의 데이터들을 바이트 단위의 기록이 가능한 노어 플래시에 일시 저장하여 병합한 후에 낸드 플래시 메모리의 페이지에 기록하는 방법을 적용하여 과도한 폐영역 생성을 감소 시켰고, 데이터의 안정성을 보장하면서 낸드 플래시 메모리의 수명을 최대 4배 증가 시켰다.
둘째, 빈번한 메타데이터의 수정이 발생되는 워크로드에서 과도한 폐영역이 생성된다. 메타데이터는 파일의 속성을 표현하기 위한 파일시스템의 자료 구조로써 한번 기록이 된 후 수정이 될 때는 소량의 정보만 변경되는 특징을 갖는 것을 관찰하였다. 본 연구의 하이브리드 플래시 파일 시스템은 메타데이터의 변경 시 이를 즉시 낸드 플래시 메모리에 반영하는 것이 아니라 변경된 소량의 정보만을 로그로 변환하여 노어 플래시 메모리에 일시 저장하여 병합한 후에 낸드 플래시 메모리의 페이지에 기록하는 방법을 적용하여 과도한 폐영역 생성을 감소 시켰고, 메타데이터의 안정성을 보장하면서 파일 시스템의 성능을 최대 1.8 배 향상 시킬 수 있었다.
상술한 바와 같이, 본 연구에서는 소량의 데이터가 빈번하게 기록됨으로써 과도한 폐영역이 생성되는 워크로드를 관찰하였다. 과도한 폐영역 생성을 감소시키기 위하여, 소량의 데이터를 낸드 플래시 메모리에 즉시 기록하는 것이 아니라 노어 플래시 메모리에 일시 저장하고 병합된 데이터를 낸드 플래시 메모리에 기록하는 지연 기록 기법을 적용하는 하이브리드 플래시 파일 시스템을 설계 및 구현 하였다. 이를 바탕으로 플래시 파일 시스템의 성능 척도인 수명과 쓰기 성능을 각각 최대 4배와 1.8배 향상 시킬 수 있었다.
