Recently, there has been much research about cluster computing to achieve high performance using low cost nodes connected with high speed networks. In cluster computing, I/O operations are still a performance bottleneck because an I/O speed is much slower than any other component's speed. To provide users with high performance I/O, many cluster I/O subsystems and mechanisms have been proposed such as cluster file systems, Cooperative Cache, collective I/O operations and so on.
In this work, we propose the new Cooperative Cache architecture and RW-phase protocol for scientific applications to improve the write performance of cluster file systems.
First, we propose the home-based Cooperative Cache. In the home-based Cooperative Cache, each block has it own home node and the home node is statically and globally determined. All information about a cached block is managed by the home node of the block and the home node does the write buffering as well as the read caching of the block. Using the home-based Cooperative Cache, a client can directly fetch a block from the home node of the block without contacting the manager as long as the block is in Cooperative Cache. Additionally, using the write buffering in home nodes, the home-based Cooperative Cache can improve write performance of I/O subsystems and can easily solve a false sharing problem in write-back Cooperative Cache because all small written data to a block is buffered in the home node of the block. For efficiently managing cached block in the home-based Cooperative Cache, we propose the new replacement policy named Pcs-LRU. Using Pcs-LRU, the home blocks can exist longer than the replication blocks in Cooperative Cache without the loss of the hit ratio. We also support the data migration for the making up the weak point of the static home management. Using the data migration, the data can be migrated to the frequently used node if the data is not accessed in the home node.
Second, to eliminate redundant operations and to do collective operations among consecutive write operations, we propose the RW-phase protocol. The RW-phase protocol is to eliminate redundant operations and to do collective operations among consecutive write operations by dividing all accesses to a file into the read/write phases using the property that all clients don't care written data during all other clients write the file. In most scientific applications, all clients synchronously access files and there are many write accesses to a file so that many redundant operations among consecutive write operations can be eliminated and many operations can be collectively done with little overhead. However, because the phase transition overhead can be large when clients asynchronously access a file, we made the RW-phase protocol adaptively active by monitoring the File Access Synchronization Ratio (FASR).
We applied the home-based Cooperative Cache and the RW-phase protocol to Coopc-PVFS (Cooperative Cache for Parallel Virtual File System) and CCFS (Cooperative Cluster File System). As a result, these two schemes improve the read/write performance of cluster file systems.
요즘 단일 노드의 성능과 네트웍의 성능이 증가하면서 값싼 노드들을 빠른 네트웍으로 연결하여 높은 성능을 얻고자 하는 클러스터 컴퓨팅에 대한 연구가 활발히 진행되어 왔다. 클러스터 컴퓨팅에서 I/O는 기존 시스템에서와 같이 CPU와 메모리, 네트웍 등의 다른 부분들의 성능에 비하여 상대적으로 느리기 때문에 응용프로그램 실행 성능의 병목현상이 된다는 문제점이 있다. 이러한 I/O 하위시스템의 성능을 향상시키고자 클러스터 파일 시스템이나 상호 협력 캐쉬, 집단 I/O 등과 같은 클러스터 I/O 서브시스템들이나 기법이 제시되었다.
상호 협력 캐쉬는 높은 성능의 네트웍으로 연결된 클러스터 시스템의 노드들 사이의 캐쉬를 공유하여 I/O의 성능을 높이기 위하여 제시되었다. 하지만 기존 상호 협력 캐쉬에 대한 연구는 읽어진 데이터를 어떻게 잘 공유할 것인가에 대한 연구에 집중되어있어서 쓰기 정책에 대하여 연구가 부족한 실정이다. 이러한 상황에서 상호 협력 캐쉬를 사용함으로써 읽기 성능은 향상 시킬 수 있으나 쓰기 성능이 I/O 하위 시스템의 병목이 될 수 있다는 문제점이 있다. 쓰기 버퍼링은 쓰여진 데이터를 메모리에 버퍼링 함으로서 쓰기 시간을 줄이고자 하는 노력이다. 하지만 분산된 노드에 있는 데이터에 대한 일관성 유지의 부하 때문에 쓰기 버퍼링을 지원하는 것은 쉽지 않다. 집단 I/O는 여러 노드의 읽기/쓰기들을 묶어 하나의 읽기/쓰기 동작으로 수행하는 것이다. 하지만 이러한 집단 I/O는 한 노드의 하나의 읽기/쓰기에 제한 될 뿐 아니라 이러한 집단 I/O를 사용하기 위해서는 응용프로그램을 재 프로그래밍해야 한다는 단점이 있다.
본 연구에서는 클러스터 파일 시스템의 읽기/쓰기 성능을 향상 시키기 위하여 과학 계산 응용프로그램을 위한 홈 기반 상호 협력 캐쉬와 읽기/쓰기 단계 프로토콜을 제시한다.
첫째로 우리는 홈 기반 상호 협력 캐쉬를 제시하였다. 홈 기반 상호 협력 캐쉬에서 모든 블럭들은 자신의 지정된 홈을 갖는다. 이러한 블럭의 홈은 한번 결정되면 추후에 바뀌지 않는다는 특징이 있고, 블럭에 대한 홈 노드에서는 블럭에 대한 읽기 캐슁 뿐 아니라 쓰기 버퍼링을 지원한다. 홈 기반 상호 협력 캐쉬를 사용함으로써 기존 연구와 달리 블럭이 상호 협력 캐쉬에 있을 동안에는 블럭을 홈 노드에서 바로 접근하여 얻어올 수 있기 때문에 데이터 접근 경로가 짧아지는 장점이 있다. 그리고 홈 노드에서 쓰기 버퍼링을 지원함으로써 여러 노드간의 블럭에 대한 허위 공유로 쓰기가 요청될 경우 있을 문제점을 쉽게 해결할 수 있다. 홈 기반 상호 협력 캐쉬에서는 블럭을 효율적으로 관리하기 위하여 기존 연구들에서 사용하던 LRU알고리즘을 수정하여 Pcs-LRU를 사용하고 블럭의 홈이 고정된다는 단점을 보완하기 위하여 데이터 이동이라는 기법을 제공한다. Pcs-LRU를 사용함으로써 LRU보다 좋거나 비슷한 캐쉬 명중률을 제공하면서 홈 블럭들이 복제된 블럭들 보다 수명이 오래가게 하여 블럭에 대한 빠른 접근을 할 수 있도록 해준다. 데이터 이동 기법을 사용함으로서 홈에서 블럭에 대한 접근이 없을 경우 블럭에 대한 접근이 많은 다른 노드로 블럭의 홈을 옮겨주는 방법을 사용함으로써 고정된 홈이라는 단점을 보완 할 수 있다. 또한 우리는 연속된 쓰기 사이의 불필요한 동작을 줄이기 위하여 읽기/쓰기 단계 프로토콜을 제안한다. 읽기/쓰기 단계 프로토콜은 연속된 쓰기 사이에서 불필요한 동작을 줄이고, 쓰기 버퍼링을 효율적으로 지원하기 위하여 파일에 대한 접근을 읽기/쓰기 단계로 나눈다. 이러한 읽기/쓰기 단계는 파일을 접근하는 모든 노드들 사이에 공통적으로 유지가 된다. 쓰기 단계에서는 모든 노드들이 파일에 대한 쓰기를 수행하고 있고, 이럴 경우 모든 노드들은 어떤 데이터가 쓰이고 있는지에 대한 정보를 알 필요가 없다는 성질을 이용하여 쓰기의 불필요한 동작들을 없애고 한꺼번에 단계가 변경될 때 집단으로 하부 수행을 실행 하도록 한다. 보통의 과학 계산 응용 프로그램들에서는 모든 노드들이 서로 동기화 된 접근을 수행하기 때문에 작은 단계 변경 부하를 가지고서 쉽게 연속된 쓰기내의 불필요한 동작을 제거할 수 있고, 집단 I/O를 수행함으로써 쓰기 성능을 향상 시킬 수 있다. 하지만, 읽기/쓰기 단계를 전체적으로 유지하기 때문에 노드내의 파일 접근이 비동기적으로 접근이 되면 단계 변경의 부하가 커질 수 있다. 이러한 문제점을 해결하기 위하여 읽기/쓰기 단계 프로토콜에서는 파일 접근 동기화 율(File Access Synchronization Ratio:FASR)이라는 것을 실시간으로 체크하여 어느 이상의 파일 접근 동기화 율 일 때만 읽기/쓰기 단계를 유지하고 읽기/쓰기 단계 프로토콜을 동작 시킨다.
우리는 홈 기반 상호 협력 캐쉬와 읽기/쓰기 단계 프로토콜을 기존의 병렬 파일 시스템인 Parallel Virtual File System과 Cooperative Cluster File System에 구현하였다. 실험 평가한 결과 홈 기반 상호 협력 캐쉬와 읽기/쓰기 단계 프로토콜을 사용함으로써 효율적인 I/O를 제공할 수 있음을 알 수 있다.
