After the confrontation between the Alphago and the Lee Se-dol Century, the whole world became enthusiastic about artificial intelligence and deep learning, hence they began to be used in all fields. The reason behind the advent of artificial intelligence and deep-learning era is because of the existence of high-speed storage and processing devices such as GPU and NVMe. However, the data transmission / reception between existing GPU and storage device has large interference due to CPU, therefore it was impossible to achieve the best efficiency in data transmission / reception. In this thesis, systematic and efficient transmission and management methods between GPU accelerator and NVMe will be discussed. In this paper, we propose a data transfer speed Acceleration using NVIDIA's GPUDirect-RDMA and NVMe's DMA technology, optimization of transmission time according to each transmission data size. In case of GPUDirect-RDMA and NVMe DMA technology, applying NVMeDirect and GPUDirect-RDMA technology minimizes CPU interference in data transfer between NVMe TO GPUs. And the speed of transferring data was accelerated with NVMeDirect for storage. Since the transmission rate fluctuates according to the size of the data, we optimize data transfer by varying the transmission amount selectively according to the amount of data to be transmitted.
알파고와 이세돌의 세기의 대결 이후, 전 세계는 인공지능과 딥러닝에 열광 하였고 어떠한 분야를 막론하고 딥러닝과 인공지능이 사용되기 시작하였다. 이러한 인공지능과 딥러닝의 시대가 도래할 수 있었던 이유는 그래픽 처리 장치와 비휘발성 메모리 익스프레스 장치와 같은 고속 저장 및 처리 장치들이 존재하였기 때문이다. 하지만 기존의 그래픽 처리장치와 저장장치간의 데이터 송수신은 중앙처리 장치의 커다란 간섭 하에 이루어졌으며, 이로 인한 오버해드로 인해 데이터 송수신에 있어 최상의 효율을 낼 수 없었다. 이에 본 석사 학위논문에서는 기존의 그래픽 처리 장치와 비휘발성 메모리 익스프레스 장치 간의 체계적이며 효율적인 전송 및 관리 방법에 대해서 고찰한다. 기본적으로 본 논문에서는 NVIDIA의 GPUDirect-RDMA기술과 비휘발성 메모리 익스프레스 장치의 직접 메모리 접근 기술인 NVMeDirect를 이용한 빠른 데이터 전송 기법과 각각의 전송 데이터 크기에 따른 전송 시간의 최적화 방법, 그리고 이를 응용한 기술인 쿠다 메모리 체크포인트 기술과 API화 등에 대한 토픽을 다루었다. GPUDirec-RDMA 기술과 비휘발성 메모리 익스프레스 장치의 직접 메모리 접근 기술의 경우, NVMeDirect기술과 GPUDirect-RDMA기술을 응용하여 비휘발성 메모리 익스프레스 장치와 그래픽 처리 장치로의 데이터 전송 간에 발생하는 중앙 처리 장치의 개입을 최소화함으로써 기존 커널 대비 평균 29.12% 성능 향상을 이끌어 냈다. 또한 각각의 전송되는 데이터양에 따라 선별적으로 전송량을 가변화하여 최적화 기법을 제안하고 이를 데이터의 크기에 따라 순간 전송 크기에 변환을 주어 전송 속도를 개선하였다.
