The files in integrated file server consists of dynamic files, static files and stream files. The server must satisfy not only the fast responses of both the dynamic data requests and the static data requests, but also the guaranteed bandwidth of the stream requests. This thesis introduces two kinds of researches to improve the disk I/O performance of the integrated file server. The first one, as a simulation result, deals with a block allocation method for the fast query response times of the dynamic files. The second one, as the major research topic, deals with a disk bandwidth allocation method for the stream or the static files, adaptive read ahead method of the allocated files and a disk scheduling method of the read ahead requests. The adaptive read ahead method and the file system about the file allocation method are integrated to CORE file server of our laboratory, and the disk scheduling method is in progress to be integrated.
The block allocation method for the dynamic files is to maximize the concurrent disk I/O on the multiple disks. A dynamic file is represented by the Cartesian product file. Based on a quantum-inspired evolutionary computing algorithm, it distributes blocks of a binary Cartesian product file among disks. It manages the probability distribution matrix to represent the qualities of the genes. Determining the excellent genes quickly makes the method to have faster convergence than the previous work, DAGA. It gives better solutions and 3.2 - 11.3 times faster convergence than DAGA.
The file allocation method is to maximize the disk I/O throughput of the static files and the stream files. The modern disk drive has multi-zones of which outer zones have higher transfer rates than the inner zones. The static file request is small and the stream file request is large. The method allocates the stream files to the outer zones with the large block sizes and the static files to the inner zones with the small block sizes. For the allocation, the file system partitions the disk layout into the outer stream group and the inner static group. For the flexible usage of the disk capacity, the file system changes the partition size by migrating the groups. When a file is written, a new system call identifies its type whether it is stream or static and stores it. The experiments with SPECweb99 and POSTMARK benchmark show that the method gives about 10% better performance than the other methods for the same video load of 10 concurrent video streams load of MPEG-2 quality and the performance gap increases as the video load increases.
The read ahead method is to guarantee the required stream bandwidth and minimize the buffer allocation for the stream. The method dynamically adjusts the read ahead sizes for the stream files and the static files. It senses the consumption rate of the stream and the disk I/O times of its read ahead requests. The read ahead size is proportional to the consumption rate of the stream and increases as the disk load increases. For SPECweb99 benchmark and about 4 MB/s stream loads, the method shows about 10% faster response times of the static requests than the conventional Linux system. It shows 8% faster response times and 4% better stream qualities than the Fixed Duration method, respectively. The file allocation method and the virtual file system of the read ahead method were integrated to the integrated file server. The integrated file server shows 23% faster response time and than the conventional Linux with Ext2 files system.
The disk scheduler schedules the disk requests to guarantee the requirements of each type of data. Modern disk drives have their own Disk Internal Scheduler (DIS) to improve the disk throughput. The internal scheduler incurs the reordering problem that the order scheduled by the operating system is changed by the disk internal scheduler. The scheduler is a real-time disk scheduler on Linux which solves the reordering problem. It consists of the global scheduler and the local scheduler. The global scheduler selects the real-time requests, predicts their disk I/O times and determines the order based on the spatial locality. The local scheduler is the disk internal scheduler controlled by the SCSI-FC device driver. The device driver notifies the DIS that the real-time requests with the earlier deadlines must be served before those with the later deadlines. The local scheduler feeds back the measured disk service time to the global scheduler when a requested disk service completes. The multimedia disk scheduler was implemented on Linux, and the experimental results show that the deadline misses of stream requests can be reduced up to 1/19 by the method.
통합 파일 서버에서 다루는 파일은 동적 파일, 정적 파일 그리고 스트림 파일이다. 통합 파일 서버는 동적 파일 및 정적 파일 데이터의 요청에 빠른 응답을 해 주어야 할 뿐만아니라, 스트림 파일에 대해 주어진 대역폭을 보장해 주어야 한다. 이 논문에서는 통합 파일 서버의 디스크 입출력 성능 향상을 위하여 크게 두가지 연구가 소개된다. 첫번째 연구는 시뮬레이션 연구로서, 동적 파일의 질문에 대한 빠른 응답을 위한 동적 파일 블럭의 디스크 할당 방법이다. 두번째 연구는 구현에 관한 것으로서 컴퓨터 공학 연구실의 Linux기반 파일 서버인 CORE file server에서 통합 파일 서버로서의 성능 향상을 위하여 파일 할당 방법, 할당된 파일의 미리 읽기 방법 그리고 읽기 위한 디스크 요청들의 스케줄링에 관한 것이다.
첫번째 시물레이션 연구로서 제안된 동적 파일의 블록 할당 방법은 디스크 어레이에서 디스크들의 병렬성을 최대화하기 위한 것이다. 동적 파일은 Cartesian Product File로 구성된다. 제안한 방법은 quantum-inspired evolutionary algorithm을 기반으로 Cartesian product file을 디스크에 분산 시킨다. 이 방법은 시뮬레이션 연산시 해법들의 유전 인자들의 질을 확률표로 나타내며, 우수한 유전 인자를 빨리 정함으로 인하여 기존 연구인 DAGA보다 3.2--11.3배 빠른 연산 시간을 갖는다.
두번째 구현 연구로서 제안된 파일 할당 방법은 동적 파일과 스트림 파일의 디스크 입출력 처리량을 최대화 하기 위한 파일 시스템에서의 파일 할당 방법이다. 최근의 다지역 디스크는 바깥쪽 지역에서 더 높은 디스크 대역폭을 갖는다. 일반적으로 정적 파일의 요청은 그 크기가 작으며, 스트림 파일의 요청을 크기때문에, 정적 파일은 디스크 안쪽 지역에, 스트림 파일은 디스크 바깥 지역에 저장되어 읽히는 것이 효율적이다. 이를 위하여 구현된 파일 시스템은 디스크 판을 안쪽의 동적 파일그룹과 바깥쪽 스트림 파일그룹으로 이분하여 관리하는 것이 목적으로, 초기 파일 시스템을 같은 크기의 그룹들로 구성시켜 가장 바깥쪽 두개의 그룹을 스트림 파일 그룹, 정적 파일 그룹으로 지정하여 사용한다. 파일 시스템의 사용량이 높아지면, 파일 시스템은 정적 파일 그룹을 안쪽 그룹으로 이주시켜, 스트림 파일과 정적 파일을 분리하여 관리한다. 같은 MPEG-2 스트림 로드에 대하여, SPECweb99와 POSTMARK 벤치 마크에 의한 정적 파일의 요청 응답 시간 비교 실험 결과, 제안된 파일 시스템이 Linux 기본 파일 시스템인 Ext2의 경우보다 10% 빠른 응답 시간을 보였다.
할당된 파일의 전송과 디스크 입출력을 병렬화하기 위하여 미리 읽기 방법이 사용되고 있으며, 제안된 미리 읽기 방법은 스트림 대역폭을 보장해 주되, 스트림에 할당되는 버퍼의 양을 최소화하기 위하여 동적으로 미리 읽기 양을 조절하는 방법이다. 이를 위하여, 각 스트림 파일의 전송률과 미리 읽기의 디스크 입출력 시간을 감지하였다. Linux의 디스크 스케줄링 방법인 SCAN방식으로 인하여, 평균 미리 읽기 디스크 입출력 시간은 디스크 로드에 의한 최대 미리 읽기 시간의 반이 된다. 제안된 미리 읽기 방법에서는 평균 미리 읽기 디스크 입출력 시간이 같은 크기의 데이터 전송 시간의 반이 되도록 디스크 로드에 따라 동적으로 조절한다. 실험을 통하여 기존의 미리 읽기 방법들과 성능을 비교한 결과, 8 MB/s 스트림 로드에 대하여 기존의 방법보다 63% 버퍼소모를 줄였으며, 로드가 클때는 디스크 입출력 속도가 약 20% 향상되었다. 제안된 파일 시스템과 미리 읽기 방법을 통합한 결과, 같은 스트림 로드에 대해 SPECweb99에 의한 정적 파일 요청 응답 시간을 측정한 결과 Ext2파일 시스템을 사용하는 기존의 Linux보다 23% 빠른 응답시간을 가졌다.
미리 읽기 요청은 디스크 스케줄링에 의하여 스케줄되며, 이 논문에서 제안된 스케줄링 방법은 스트림 파일 미리 읽기 요청의 실시간 처리를 위한 것으로, 최근의 디스크 드라이브가 갖고 있는 내부 스케줄러를 고려한다. Linux내부에서 스케줄된 디스크 요청들은 디스크 내부 스케줄러에 의해 디스크 내부 큐에서 재배치 되며, 이러한 재배치에 의하여 스트림 데이터 미리 읽기 요청이 실시간 만족을 하지 못하게 된다. 제안된 디스크 스케줄러는 디스크 내부 스케줄러에 의한 재배치 문제를 풀기 위한 것으로, 글로벌 스케줄러와 로컬 스케줄러로 구성된다. 글로벌 스케줄러는 스트림 요청후 정적 파일 데이터 요청 순으로 스케줄 한다. 또한, 스케줄 단위인 라운드와 라운드 사이에 배리어 신호를 로컬 스케줄러에 알려준다. 로컬 스케줄러는 디스크 디바이스에 의해 조절되는 디스크 인터널 스케줄러로서, 글로벌 스케줄러에 의해 알려진 배리어를 신호를 디스크에 전달한다. 배리어로는 Fibre Channel 디스크의 표준 메시지인 Ordered Tag Message를 사용한다. 실험 결과 데드라인을 놓친 스트림 데이터 요청을 수가 기존의 Round 기반 동적 스케줄링 방법보다 제안한 방법에서 19배 줄어들었다.
