Data Syndication Service (DSS) which aggregates information from different data sources such as sensors or Web sites, composes the information into a value-added and refined one, and disseminates them to its consumers is becoming popular. DSS is essential where there are a lot of data sources and the frequency of data updates are very high. In such domains, without DSS, people will experience difficulties in acquiring refined information from widely-distributed lots of data sources. For instance, without price comparison sites which are one of the most popular DSS, people who want to buy an item from online shops have to spend a few hours to find the shopping site which proposes the lowest price. In spite of the importance, DSS has not been much studied yet. In this thesis, we study the high performance architecture for DSS systems. First, we identify the functional requirements of DSS. Then, we discuss the high performance architectures of DSS system in Web and sensor network domains. According to the practical needs of each domain, content aggregation is focused in Web domain and content archiving is in sensor network domain. We also describe the prototype implementation as well as technical issues. We also measured the performance of prototype system to show the validation of our approach. With the proposed system, people who want to provide DSS provider can build up a new service without involving the details of complicated content aggregation procedures, and thus concentrate on developing the service logic. We demonstrate this by constructing a DSS Web site using the prototypes.
데이터 신디케이션 서비스는 웹사이트들이나 센서들과 같이 다수의 분산된 데이터 소스로부터 정보를 수집/가공하여 그 결과를 사용자에게 전해주는 것으로 특징지어진다. 이와 같은 형태의 서비스는 정보화의 급진전과 그에 따른 급격한 정보량의 증가에 따라 여러 곳에서 빈번하게 사용되기 시작하였다. 예를 들자면, 인터넷의 가격 비교 사이트를 들 수 있다. 수 많은 인터넷 쇼핑 사이트들의 출현에 따라 구매자들이 그 모든 사이트들은 찾아 가장 저렴한 가격을 제시하는 쇼핑몰을 찾는다는 것은 현실적으로 불가능하게 되었다. 가격 비교사이트는 쇼핑사이트들로부터 상품 정보를 수집/비교하여 제공함으로써 소비자들이 시간 낭비 없이 원하는 조건의 물품을 구매할 수 있도록 돕고 있다. 데이터 신디케이션 서비스는 특히 정보 소스가 매우 많거나 수집되는 정보가 매우 빠르게 변하는 경우에 그 중요성이 더욱 부각되고 있다. 정보화의 진전에 따라 이러한 서비스가 없다면, 사람들은 수 많은 데이터로부터 통합/정리되어야 하는 고 부가가치의 정보를 얻기가 매우 힘들 것이다.
이와 같은 중요성에도 불구하고, 현재까지 데이터 신디케이션 서비스에 대한 체계적인 연구는 많지 않다. 본 논문에서는, 데이터 신디케이션 서비스를 위한 고성능 시스템에 대한 연구를 수행하였다. 먼저, 논리적으로 데이터 신디케이션 서비스 시스템은 서비스 로직과 컨텐츠 신디케이션의 두 부분으로 구분될 수 있다. 다시, 컨텐츠 신디케이션은 데이터 통합과 데이터 저장의 두 기능으로 나누어 질 수 있다. 이와 같은 구조를 바탕으로, 웹과 센서 네트웍의 두 분야에서 효율적으로 데이터 신디케이션 서비스를 지원하기 위한 시스템을 제안하였다. 이 두 응용 분야는 현재 데이터 신디케이션 서비스가 많이 사용되고 있다는 점뿐만 아니라 사용되는 데이터 및 데이터 소스의 특성이 서로간에 많은 차이를 보인다는 점을 고려하여 선택하였다. 또한 제안된 시스템은 직접 프로토 타입을 만들어 시스템의 성능을 분석하였다.
구체적으로는, 웹 분야의 데이터 신디케이션 서비스를 위해, HiCAS (High performance Content Aggregation System) 라 불리는 시스템을 제안하였다. HiCAS는 웹에서의 데이터 신디케이션 서비스에 필요한 여러 웹 사이트들로부터 정보를 통합(수집/처리)하는 역할을 담당한다. 특히, HiCAS는 서로 다른 데이터/시스템 구조와 형태를 가지고 있는 수 많은 웹 사이트들을 동일하게 다룰 수 있는 방법을 제공한다. 또한, 이러한 웹 사이트들과의 상호작용뿐 아니라 동적으로 변하는 수 많은 사용자로부터의 요청을 다룰 수 있도록 고 성능 구조를 가지고 있다. 그리고, 정보 제공 웹사이트에서의 데이터 변경을 즉시 감지하고 변경된 정보를 수집함으로써 데이터 신디케이션 서비스가 항상 최신 정보를 제공할 수 있도록 하고 있다. 데이터 신디케이션 서비스를 제공하는데 있어 HiCAS를 사용함으로써 서비스 제공자는 데이터 수집/처리와 관련된 복잡한 부분은 HiCAS에 맡겨둔 채 서비스 로직의 개발에만 집중할 수 있다.
센서 네트웍 분야에서는 DAS(Data-stream Archiving System)라 불리는 데이터를 저장하는 시스템에 대한 구조를 제안하였다. 센서 네트웍에서는 각 센서로부터 새로운 정보들이 주기적으로 끊임없이 전송되는데, 이와 같은 이유로 각 센서로부터의 데이터들을 데이터 스트림이라 부르고 있다. DAS는 수 많은 데이터 스트림들을 효율적으로 저장하기 위해 데이터들을 유사한 그룹으로 묶어 한 번에 처리하고 있다. 특히, 한번에 묶는 그룹의 크기를 동적으로 조절 함으로써 들어오는 데이터의 양이 시간에 따라 변하는 경우에도 안정적인 서비스를 제공할 수 있다. DAS는 특히 현재 많은 연구가 진행되고 있는 CQ(Continuous Query) 엔진이라 불리는 데이터 스트림을 수집/처리 시스템과 함께 사용되어 고성능의 데이터 신디케이션 서비스 시스템을 구축할 수 있다.
앞에서 제안된 구조에 따른 프로토타입이 개발되었으며, 이에 기반한 실험에 의해 제안된 시스템들은 높은 성능을 보여주고 있음을 알 수 있었다. 우리는 본 연구에서 제안하는 시스템 구조 및 프로토타입이 웹과 센서 네트웍 분야에서의 데이터 신디케이션 서비스 구축에 큰 도움이 되리라 생각한다. 더불어, 다른 분야 또는 유사한 다른 서비스 제공시에도 본 연구에서 제안한 시스템 구조와 기술적인 요소들이 부분적으로나마 도움이 되리라 생각한다.
