Recently, deep neural network (DNN) based machine learning (ML) algorithms are widely developed in the domain of image classification (CNN), or natural language processing (RNN). However, non-DNN based ML workloads are emerging such as recommendation system, which is based on embedding layer. Embedding is a continuous vector representation in a N-dimensional space, which is projected from personalized categorical features. Recommendation system utilizes these embedding as a form of table, and predicts the possibility of a user clicking or watching a recommended item. The embedding table can amount to several tens to thousands of GBs, which makes recommendation system suffer from the excessive memory footprint. In this thesis, we characterize recommendation system using non-volatile memory and NVMe SSD, and explore its feasibility.
최근 딥러닝 기반의 인공지능 연구로서 이미지를 처리하는 합성곱 신경망(CNN)과 언어 처리와 관련된 순환 신경망(RNN) 기반의 가속기 시스템 연구가 활발히 진행되고 있다. 하지만, 이러한 연산 중심의 딥러닝 모델과는 다른 형태의 임베딩 기반의 딥러닝 모델이 부상하고 있다. 임베딩이란 특정 사물 또는 사람에 대한 특징을 수학적인 표현을 위해 N차원 공간에 투영시킨 벡터이다. 추천 시스템은 이러한 임베딩을 조합하여 심층 신경망(DNN) 연산을 통해 추천이 되어질 확률을 계산한다. 이러한 임베딩을 표현 및 보관하기 위해서 적게는 수 GB에서 많게는 수 TB까지 확장된다. 본 학위논문에서는 임베딩으로 인한 추천 시스템의 메모리 및 스토리지 시스템 병목점에 대해 비휘발성 메모리 및 차세대 스토리지 시스템이 어떻게 활용될 수 있는지에 대해서 분석한다.
