The performance of conventional distributed file systems is limited by the server computing power and network bandwidth. With the advent of Storage Area Network (SAN), disk data can be directly accessed via SAN while traditional central storage server services the disk data to other computers via network. SAN architecture is becoming popular and replacing the traditional storage architectures consisting of local storage network such as SCSI and IDE. The storage systems based on SAN are much different from conventional systems, and a new file system architecture is required for exploiting the performance benefit of SAN fully.
In this dissertation, a SAN-based high performance shared disk file system, called SANfs, is proposed. Unlike traditional distributed file systems which are based on a centralized file server, SANfs is server-less; every host accesses the disks attached to SAN without depending on a centralized server.
In designing our SANfs, we take three things into consideration; data consistency and metadata managements, data integrity using RAID-5, and directory acceleration for very large directories.
To fully exploit the scalability of SAN-based storage architecture, the file system should provide efficient data consistency and metadata management methods. SANfs provides an efficient data consistency scheme based on a file level lease and a decentralized free block management scheme. The locking range of a lock is whole file blocks. Compared with block-level locking schemes, locking overhead is much reduced. The free block management is performed in a distributed way to reduce the load of the metadata server. The metadata such as inodes, inode maps, and block maps are separated from the storage area network to optimize SAN for bulk transfer.
Since the number of disks is much larger and the mean-time-to-failure of disks is shorter than the traditional SCSI, data integrity is an important issue. In SANfs, software RAID-5 is supported to tolerate a single disk failure. Unlike traditional single-host RAID-5 systems, the SANfs RAID-5 is a multi-host RAID-5; every host accesses the disk array directly and updates the parity blocks. To ensure parity consistency in the multi-host RAID-5, a new efficient selective stripe locking method is proposed. The non-write-shared stripe which is not being written by multiple hosts concurrently need not be locked. It requires a high cost to keep track of the non-write-shared stripes. An efficient way of removing most of the non-write-shared stripes is proposed. The stripes in a file system are classified into trivial stripes and non-trivial stripes. When using a multiple-reader/single-writer semantic which is generally used in distributed file systems, trivial stripes are not allowed to be write-shared. So, trivial stripes need not be locked. The portion of the trivial stripes amounts to 95%. With the removal of the unnecessary lockings of the trivial stripes, the stripe locking overhead is tremendously reduced.
A novel directory scheme, called CRC-based Directory Compression (CDC), is proposed to support scalable high performance for very large scale directories. The very large directories having tens of thousands of files are not rare. Directory lookup should be accelerated to exploit the high bandwidth of the SAN-based storages. The CRC-based compressed directory is 4 times smaller than conventional directories on average. In CDC, the inode number of a file is found by looking up the CRC-based compressed directory using the CRC code of the pathname as an index. Due to the collision of the CRC codes, the compressed directory does not have all the files. The secondary files, whose inode numbers are not stored in the compressed directory, are looked up by searching for the collision list of their corresponding primary files. However, most of the files are primary and registered in the compressed directory. The directory operations based on the compressed directory are much faster than those of conventional directory schemes.
SANfs is implemented on Linux 2.2.12 kernel. Minix version 2 is modified to deploy the file level lease method for data consistency and the metadata management. The multi-host RAID-5 is implemented by modifying the linux multiple device driver in the kernel 2.2.12 to deploy the selective stripe locking method. The CRC-based compressed directory accelerator is implemented also.
Experimental results show that SANfs is scalable upto 6 hosts which is limited by the SAN switching hub used in the experiments while other file systems deploying the conventional stripe locking methods such as callback locking and server locking show performance saturation. The write bandwidth is 3-6 times larger than those of the conventional methods. The write latency is 2-5 times smaller than those of the conventional methods. For CDC, performance analysis using a real workload shows that in a directory with 16,000 files, 89% files are primary and the collision list depth of 10% files is 1. The results of micro-benchmarks show that the creation, lookup and deletion latencies of CDC are much smaller than those of the conventional directory schemes including EXT2, XFS, and GFS. The creation and deletion of CDC are 1-2 orders of magnitude faster than the conventional directories such as sequential, hashing and B-tree directories. The lookup operation is 3-7 times faster than the conventional directories.
SANfs is a SAN-based high performance shared disk file system. It can be deployed in many application areas such as internet servers and data center and will enhance both reliability and performance of those systems.
기존 네트워크 파일 시스템과 분산 파일 시스템들의 성능은 중앙 파일 서버의 성능과 네트워크의 대역폭에 제한된다. 기존 시스템에서는 클라이언트들이 중앙서버를 통해서 디스크데이터를 접근하는 데 반해, 최근의 저장장치 네트워크 (SAN)의 등장으로 클라이언트가 디스크 데이터를 SAN을 통해서 직접 접근할 수 있게 되었다. SAN은 기존의 SCSI나 IDE들을 대체하면서 널리 보급되고 있다. SAN기반의 시스템들은 기존시스템들과 크게 다르며, 고성능 SAN의 특징을 십분 활용할 수 있는 새로운 파일 시스템이 요구된다. 이 논문에서는 SANfs라는 이름의 SAN기반의 고성능 공유 파일 시스템을 제안한다. 중앙 서버에 의존하는 기존 분산 파일 시스템들과는 다르게 SANfs는 서버를 갖고 있지 않다. 모든 클라이언트들은 SAN에 연결된 디스크들을 직접 접근할 수 있다.
새로운 SAN기반의 공유 파일 시스템이 갖추어야 할 세가지 조건은 다음과 같다. 첫째는 데이터의 일관성 및 메터데이터의 관리, 둘째는 데이터의 신뢰도 증진, 세째는 대형 디렉토리를 효율적으로 처리하기 위한 디렉토리의 가속화이다. SAN기반의 저장장치의 고성능, 고확장성을 십분 활용하기 위해서는 파일 시스템이 효율적인 데이터 일관성 및 메터데이터 관리를 제공해야 한다. 또한 SAN에 연결된 다수의 디스크들이 에러가 날 경우 데이터를 복구할 수 있어야 한다. 그리고 저장장치가 커지게 되면서 수만개 이상의 파일을 갖는 대형 디렉토리들을 효율적으로 검색할 수 있는 디렉토리가 필요하다. SANfs는 이와 같은 세가지 요구조건을 모두 충족시키는 파일 시스템이다.
SANfs에서 데이터 일관성은 파일 수준의 리스 (Lease)를 통해서 유지된다. 파일 시스템의 사용되지 않은 블럭들을 관리하는 일을 클라이언트에 분산시켜서 메타서버의 부하를 감소시킨다. 아이노드나 아이노드 맵, 블럭 맵과 같은 메터데이터는 SAN 디스크에서 분리하여 저장하므로써 SAN을 대량 데이터 접근에 최적화시킨다.
SANfs는 하나의 디스크가 고장이 난 경우 데이터 복구를 위해서 RAID-5를 지원한다. 기존의 단일호스트 RAID-5와는 다르게 여러 호스트가 직접 RAID-5를 접근하는 다중호스트 방식이다. 여러 호스트가 패러티를 쓰게 되는 경우에 패러티의 일관성이 깨지게 된다. 이것을 해결하기 위해서 효율적인 선택적 스트라이프 락 방식을 제안한다. 쓰기공유가 일어나지 않는 스트라이프는 락을 할 필요가 없다. 쓰기공유가 일어나지 않는 스트라이프를 알아내기 위한 효율적인 방식을 사용한다. 파일시스템의 스트라이프들을 trivial과 non-trivial 두가지로 분류한다. 일반적으로 분산 파일 시스템에서는 독점쓰기권한을 제공하는 데, 이 경우에 trivial 스트라이프들은 쓰기 공유가 일어나지 않는다. trivial 스트라이프들이 대다수 이기 때문에 이들을 제거하므로써 락 오버헤드는 현저히 줄어든다.
대형 디렉토리를 효율적으로 검색하기 위해서 CRC 기반의 디렉토리 압축방식을 제안한다. CRC기반의 압축디렉토리는 기존의 파일 이름을 저장하는 디렉토리에 비해 1/4 크기로서 압축디렉토리의 성능은 기존 디렉토리들의 성능보다 현저히 빠르다. 압축 디렉토리는 파일 이름의 CRC값을 사용하여 검색한다. 서로 다른 파일이 동일한 CRC 코드를 갖는 CRC 충돌이 일어날 수 있다. CRC 코드 충돌 때문에 디렉토리의 모든 파일들이 압축디렉토리에 등록되지는 못한다. 압축디렉토리에 등록되는 수위 파일은 같은 CRC를 가지면서 압축디렉토리에는 등록되지 못한 종속 파일들을 모두 연결한 충돌 리스트를 갖고 있다. 그러나 CRC 충돌은 자주 일어나지 않으며, 거의 대부분의 파일들이 압축디렉토리에 등록된다. 대부분의 파일들은 압축디렉토리에서 빠르게 검색되고, 소수의 파일만이 충돌 리스트에서 검색된다.
Linux 2.2.12 커널 상에서 Minix 버전 2를 수정하므로써 구현하였다. 다중호스트 RAID-5는 리눅스의 MD (Multiple Device) 드라이버를 수정하여 구현하였다. 실험결과는 SANfs가 호스트 개수를 6대 까지 증가시킬 때 성능이 비례하여 증가하는 것을 보여준다. 반면 기존의 콜백 락 방식이나 서버 락 방식을 채용한 경우에는 성능이 포화된다. 쓰기 대역폭이 기존 방식들보다 3-6배 향상되었고, 쓰기 시간은 기존의 방식들보다 2-5배 작다. 압축디렉토리를 사용하므로써 89%의 파일이 압축디렉토리에 등록되고, 10%의 파일이 CRC 충돌 리스트의 첫 엔트리이다. 제안된 압축디렉토리의 성능은 기존의 XFS, GFS, Ext2등의 디렉토리들의 성능 보다 현저히 높다. 파일생성 및 제거는 기존 디렉토리보다 10-100배 까지 향상되었으며, 검색은 3-7 배 빠르다는 결과를 얻었다. SANfs는 SAN기반의 고성능 파일 시스템으로서 인터넷 서버, 데이터 센터 등 여러 응용분야에 적용되어 전체 시스템의 안정성 및 성능을 향상시킬 것이다.
