In this thesis, we propose software-hardware collaborative compute express link (CXL) memory disaggregation system for billion-scale approximate nearest neighbor search (ANNS). ANNS is widely used in commercial services such as image search, database, and recommendation systems by reason of high accuracy and low latency. However, in production-level ANNS, there is a challenge of requiring a large amount of memory due to the extensive dataset. CXL-ANNS is composed CXL memory dissaggregation system that can accomodate the billion-point graph dataset. Additionally, by using near data processing and data prefetch, the performance of CXL-ANNS is improved. Proposed CXL-ANNS exhibits $93.3%$ lower latency than state-of-the-art ANNS platforms.
본 학위논문에서는 수십억 규모의 근사 근접 이웃 탐색을 처리하기 위한 소프트웨어와 하드웨어를 통합한 방 식의 컴퓨트 익스프레스 링크(Compute Express Link, CXL) 메모리 확장 시스템인 CXL-ANNS를 제안한다. 최근 각광받고 있는 이미지 검색, 추천 시스템, 광고 등의 서비스들은 높은 정확도와 짧은 지연시간을 이유로 근사 근접 이웃 탐색 알고리즘을 주로 사용한다. 하지만 근사 근접 이웃 탐색 알고리즘에 필요한 데이터 셋은 크기는 기존 시스템의 메모리 용량을 초과하는 문제가 있다. CXL-ANNS는 CXL 메모리 확장 기술을 활용하여 수십억 포인트의 그래프 데이터 셋을 모두 메모리에 적재할 수 있는 시스템을 구성하였다. 또한 CXL 메모리 장치에서 연산을 진행하는 데이터 근처 연산 기법과 필요한 데이터를 미리 CPU로 가져오는 데이터 프리패 치 기법을 사용하여 CXL-ANNS의 성능을 높였다. 제안하는 CXL-ANNS는 최신 근사 근접 이웃 탐색 처리 기법과 비교하여 지연 시간을 $93.3%$ 단축시킬 수 있음을 보였다.
