Unified memory address space for modern discrete GPU provides a page fault mechanism, which enables GPU memory oversubscription. If the working set of GPU applications cannot fit on GPU memory capacity, unified virtual memory makes implicit data transfer between host and GPU system to enable applications running on limited memory capacity. Even though it reduces the burden of programmers explicitly migrating pages for upcoming allocations, the current unified virtual memory system causes significant performance degradation. To mitigate the performance degradation, there have been several prior studies. However, they use pre-eviction and prefetch techniques by modifying the software framework or changing the GPU architecture, which cannot be easily adopted.
This paper introduces a new approach for GPU memory oversubscription, which is called hierarchically unified virtual memory (HUVM). HUVM temporarily leverages the spare memory of neighbor GPUs connected via fast interconnection such as NVLink. Also, the study proposes a novel memory manager for HUVM including a two-staged parallel prefetcher to minimize the latency of accessing host memory. With experiments including three DNN training benchmarks, it shows significant performance improvement about 3× compared to stock version of UVM without any modification of existing machine learning frameworks.
최신 GPU 시스템을 위한 통합 주소 공간은 GPU 초과 사용 시를 위한 페이지 폴트 방식을 제공한다. 만약 GPU 응용 프로그램의 크기가 GPU 메모리 용량을 초과하면, 통합 가상 메모리는 호스트와 GPU 사이 에 데이터를 자동으로 옮겨주어 응용 프로그램이 작동할 수 있도록 만들어 준다. 이러한 통합 가상 메모리의 등장은 프로그래머가 직접 명시적으로 새 페이지 할당을 위해 데이터를 이동시켜야 했던 기존 프로그래밍 방식의 부담을 많이 덜어주었다. 하지만, 현재 통합 가상 메모리 관리 체계는 심각한 성능 하락을 야기한다. 이를 위한 여러 선행 연구가 있지만, 해당 연구들은 소프트웨어 프레임워크를 수정하거나 GPU 아키텍처를 수정하여 pre-eviction과 prefetch 기술에 의존하고 있다.
이 연구는 GPU 메모리 초과 사용 상황에서 성능 하락을 줄이는 새로운 접근 방법인 계층 통합 가상 메모리 시스템(Hierarchically Unified Virtual Memory, HUVM)을 소개한다. HUVM은 NVLink와 같이 빠른 속도를 지원하는 인터커넥션(interconnection)으로 연결된 인접 GPU들의 남은 메모리 공간을 일시적 으로 활용한다. 이 연구에서는 호스트 메모리로의 접근 시간을 줄이기 위해 2단계 병렬 prefetch를 포함하는 HUVM을 위한 메모리 관리자를 설계하였다. 3개의 DNN 학습 벤치마크를 통해 실험한 결과, 머신러닝 프레임워크의 수정 없이 기존 방식 대비 약 3배 성능 향상을 보여주었다.
