As the amount of data on the internet increases rapidly, parallel information retrieval systems have been developed to support an efficient search against voluminous data. Although many commercial search engines use parallel information retrieval, detailed service architectures and experimental analyses for parallel information retrieval have not been discussed in the literature.
In this thesis, we propose a service architecture for a large parallel information retrieval system and evaluate the performance of the system under the proposed architecture. For this objective, we 1) design a physical machine organization, 2) devise a technique to append or update data with only a small overhead, and 3) devise a technique to reorganize the database without stopping the service. Then, using the proposed architecture, we build a service system storing ten million web pages and analyze effects on the performance while varying four parameters: the number of database partitions, the top-n value requested by the query, the query keyword frequency, and the number of keywords per query.
인터넷에 존재하는 데이타의 양이 기하급수적으로 증가함에 따라 많은 양의 데이타에 대한 정보 검색을 효율적으로 지원하기 위해 병렬 정보검색 시스템이 개발되었다. 많은 상용 검색 시스템이 병렬 정보검색을 사용함에도 불구하고, 병렬 정보검색에 대한 세부적인 서비스 아키텍처와 성능 평가에 대해서는 충분한 연구가 수행되지 않았다. 본 논문에서는 대규모 병렬 정보검색 서비스 시스템의 아키텍처를 제안하고, 제안한 아키텍처를 이용하여 성능 평가를 수행한다. 서비스 아키텍처를 제시하기 위해, 1) 물리적인 기기 구성을 설계하고, 2) 적은 비용으로 데이타 추가 및 업데이트가 가능한 방법을 제안하며, 3) 서비스의 중단 없이도 데이타베이스 재구축이 가능한 방법을 제안한다. 그리고, 제안한 아키텍처 하에서 1,000만 건의 웹 페이지를 이용하여 실제로 서비스 시스템을 구축하고, 데이타베이스 분할수, top-n value, 질의에 사용한 키워드 종류, 질의당 키워드 수의 4가지 파라미터가 성능에 미치는 영향을 분석한다.
