As social network services with millions of users emerge, an efficient base system for storing the large-scale data from many users and for processing queries on that data is in need. NoSQL systems and parallel DBMSs are suitable for this base system since both can be used for distributing the large-scale data over many servers and processing queries. By storing data in the key-value format, NoSQL systems can avoid cross-node join, but the key-value stores are not suitable for efficient processing of search queries. They also cause data redundancy. In contrast, storing data in the relational format, parallel DBMSs are suitable for search query processing on large-scale data while reducing data redundancy. But, they can easily cause cross-node join.
In this thesis, we design and implement a large-scale social network service using ODYSSEUS/Parallel-OOSQL, a parallel DBMSs featuring DB-IR tight integration for efficient searching, which has been developed at KAIST. We analyze the workload of the social network system based on the relationship between entities and on operations of the services to capture the requirements of the social network system. We then propose an architecture of storing data and allocating queries. We also propose a method of designing the database schema of the social network service so as to avoid cross-node join operations in query processing and reducing data redundancy. We conduct experiments to show that the social network service implemented using the proposed methods have an excellent performance. The results of the experiments show the response time is from 15ms to 1,115ms depending on the operation. The results also show that the performance does not degrade significantly even if the number of relationships between the data increases.
수 억 명의 사용자를 갖는 대형 소셜 네트워크 서비스가 등장함에 따라, 다수의 사용자들로부터 생성되는 대용량의 데이터를 효율적으로 저장하고 처리하기 위한 기반 시스템이 요구되고 있다. NoSQL 시스템과 병렬 DBMS는 대용량의 데이터를 다수의 서버에 분산하여 저장하고 병렬로 처리하기 때문에 소셜 네트워크 서비스의 기반 시스템으로 적합하다. NoSQL 시스템은 특정 질의에서 함께 요구될 수 있는 모든 데이터가 하나의 key에 대한 value로 묶여서 저장되는 key-value형으로 데이터를 저장함으로써 노드간 조인을 방지할 수 있지만, 대용량의 데이터에 대한 검색 질의 처리에 부적합하고 데이터가 중복 저장되는 단점이 있다. 반면에 병렬 DBMS는 관계형의 데이터를 저장함으로써 대용량 데이터에 대한 검색 질의 처리에 적합하고 데이터 중복 저장을 최소화하지만, 노드간 조인을 피하기 어렵다.
본 연구에서는, 데이터 검색에 특화된 병렬 DBMS인 오디세우스/Parallel-OOSQL을 사용하여 대형 소셜 네트워크 서비스를 설계하고 구현한다. 이를 위해 소셜 네트워크 서비스 워크로드를 개체 간 관계와 서비스의 각 기능(즉, operation)을 중심으로 분석함으로써 소셜 네트워크 서비스의 요구사항을 파악하고, 노드간 조인을 방지하고 데이터 중복을 완화할 수 있는 데이터 저장 및 질의 할당 구조와 데이터베이스 스키마 설계 방법을 제안한다. 또한 실험을 통해 제안한 방법으로 구현한 소셜 네트워크 서비스가 우수한 성능을 낼 수 있음을 보인다. 실험 결과, 각 operation 별로 최소 15ms에서 최대 1,115ms의 응답시간을 보였다. 또한 데이터 간 관계 수가 증가하더라도 성능이 크게 저하되지 않음을 보였다.
