Distributed scientific and engineering applications often require access to large amounts of data (terabytes or petabytes). Access to distributed data is typically as important as access to distributed computational resources. Future applications also require widely distributed access to data (For example, access in many places by many people, virtual collaborative environments, etc.). There are several Data Grid middlewares (SRB, Globus Data Grid Support, SRM, etc.) to attempt to identify, prototype, and evaluate the key technologies required to support such scientific and engineering collaborations.
As one of major components of Data Grid middleware, replication can be used to reduce access latency, improve data availability, and increase robustness, scalability and performance for distributed applications. Yet the scientific applications want guarantees that data will be available when they need it - at least with high probability. It is often desirable to create remote read-only copies (replicas) of data elements (files). A well-known technique for improving availability in unreliable systems is replication. If multiple copies of data exist on independent nodes, then the chances of at least one copy being accessible are increased. Aggregate data access performance will also tend to increase, and total network load will tend to decrease, if replicas and requests are reasonably distributed.
Yet while replication has advantages, it also has significant costs. We need a mechanism for creating replicas that allows us to meet availability and performance goals. We describe here a mechanism with these properties. In our approach, we define replica location service as a S/W component that determines how many replicas of any file are needed to maintain desired availability and where are the most suitable locations under the given cost (and deadline) discipline.
Another service provided in the data grid middleware is replica selection. Replica selection is the process of choosing a replica that will provide an application with data access characteristics that optimize a desired performance criterion, such as absolute performance (i.e. speed), or security. Because replicas are to be selected based on access time, we describe a replica selection scheme based on performance measurement, which chooses the best replica to satisfy user’s different requirement (The fastest access time, real-time, fault-tolerance, and so on.)
Finally, we present architecture of Dynamic Replica Management (DRM) Scheme, which includes the two major components: replica location and replica selection. Based on this, we evaluated our approach with two experiments to check the feasibility for our replica location scheme and to test replica selection scheme considering application characteristics based on network performance measurement.
We expect that this result can be contributed to building Data Grid middleware. Also, we will try to construct our middleware, in the future.
Data Grid 미들웨어는 과학기술 응용에 의해 생성된 대용량의 데이터를 지리적으로 전세계에 분산 분포되어 있는 저장장치 자원에 위치시키고, 이를 공유할 수 있도록 해 줌으로써, 관련 전세계 연구 개발들의 협업 환경을 지원하는 역할을 제공한다. 미들웨어의 여러 가지 핵심 기능들 중에서도, 신뢰성이 요구되는 고성능의 데이터 처리를 위하여 Replica 관리에 대한 연구가 중요 과제가 되고 있으며, 본 연구에서는 이에 대한 핵심 기술을 이론적인 모형을 바탕으로 실험적 고찰을 하였다.
Replication은 어떤 파일에 대한 Replica를 생성하고 이들이 위치될 장소를 결정하는 Replica Location 부분과, 이렇게 생성된 Replica 위치 정보를 바탕으로 이들 중 하나를 선택하는 Replica Selection 부분으로 크게 나누어 질 수 있는데, 현재 Globus등과 같은 미들웨어에서는 Repllica의 위치정보 관리와 선택기능은 구현되었으나, Replica의 자동생성 및 위치지정 기능은 연구 단계에 있다.
Replication은 분산 환경에서 자료 접근에 요구되는 지연시간을 감소시키거나, 시스템이나 네트웍의 오류에도 불구하고 자료에 대한 접근 가능성을 적정 수준으로 유지시키는 가용성 보장 그리고 시스템의 견고성이나 확장성 향상 등을 주요 목적으로 하고 있는데, 최근의 일부 연구에서는 데이터 가용성 보장과 관련된 비용 함수 정의를 통해 Replica 위치를 결정하는 모델을 제시하고 있다. 또 한편, 하나의 Replica를 선택하는 방법에 대한 연구는 여러 Replica 위치로부터의 가용한 네트워크 대역폭에 대한 성능 측정을 통해 파일 전송 시간을 정확히 예측하는 것에 그 중점을 두고 있다.
본 논문에서는 비용뿐 아니라 지연제약(deadline)을 고려한 LP(Linear Programming) 기반의 Replica 자동 생성 및 위치 결정 기법을 제시하고, 네트워크 성능의 시변 가용성 정보 측정을 통해, 실시간성 및 시스템 오류를 고려하는 Grid 응용에서의 Replica 선택 기법을 제안하였다.
제시된 모델은 첫째, 자료의 가용성 보장 정보를 바탕으로 생성될 Replica의 수를 결정하고, 둘째, 비용과 지연제약 정책을 기반으로 Replica 위치를 결정하며, 셋째, 네트워크 성능 측정을 통해 획득되는 시변 가용성 정보를 바탕으로 Grid 응용의 요구사항을 고려하여 Replica를 선택하는 방법을 주요 부분으로 하고 있다. 그리고, 이들을 바탕으로 하여, 새로운 동적 Replica 관리 구조를 제시하고, 그 동작 개념을 설명하였다.
관련 연구 결과는, 향후 Data Grid 미들웨어에서의 주요 기능으로서 Data Replication 기능의 향상과 최적화에 기여할 수 있을 것으로 기대한다.
