In this thesis, three Real System deploying Persistent Memory are proposed.
First one is TensorPRAM, a scalable heterogeneous deep learning accelerator that realizes FPGAbased domain specific architecture, and it can be used for forming a computational array for deep neural networks (DNNs). The current design of TensorPRAM includes a systolic-array hardware, which accelerates general matrix multiplication (GEMM) and convolution of DNNs. Our real system evaluations show that TensorPRAM can reduce the execution time of various DNN workloads, compared to a processor only accelerator and a systolic-array only accelerator by $99%$ and $48%$, on average, respectively.
Second one is LightPC, a lightweight persistence-centric platform that consists of hardware and software subsystems, each being referred to as open-channel PMEM (OC-PMEM) and persistence-centric OS (PecOS). OC-PMEM removes physical and logical boundaries in drawing a line between volatile and non-volatile data structures by unshackling new memory media from conventional PMEM complex. PecOS provides a single execution persistence cut to quickly convert the execution states to persistent information in cases of a power failure, which can eliminate persistent control overhead and make existing software simply transparent to new memories. Our evaluation results show that OC-PMEM can make user-level performance comparable with a DRAM only non-persistent system, while consuming $72%$ lower power and $44.2%$ less energy. LightPC also shortens execution time of diverse HPC and SPEC workloads, compared to traditional orthogonal persistent systems by $1.9×, 7.7×$, on average, respectively. Last one is TrainingCXL that can efficiently process large-scale recommendation datasets in the pool of disaggregated memory while making training fault tolerant with low overhead. To this end, i) we integrate persistent memory (PMEM) and GPU into a cache-coherent domain as Type-2. Enabling CXL allows PMEM to be directly placed in GPU’s memory hierarchy, such that GPU can access PMEM without software intervention. The evaluation shows that TrainingCXL achieves $5.2×$ training performance improvement and $76%$ energy savings, compared to the modern PMEM-based recommendation systems.
본 학위논문에서는 비휘발성 메모리를 활용하는 다양한 실시스템을 제안하고자 한다.
첫 번째는 FPGA 기반의 도메인 특화 아키텍처를 구현하는 확장 가능한 이기종 딥 러닝 가속기인 TensorPRAM으로, 심층 신경망(DNN)을 위한 연산 배열을 구성하는 데 사용할 수 있다. TensorPRAM의 설계에는 DNN의 일반 행렬 곱셈(GEMM)과 컨볼루션을 가속화하는 시스톨릭 배열 하드웨어가 포함되어 있다. 실제 시스템 평가에 따르면 TensorPRAM은 프로세서 전용 가속기와 수축 배열 전용 가속기에 비해 다양한 DNN 워크로드의 실행 시간을 각각 평균 $99%, 48%$ 단축할 수 있는 것으로 나타났다.
두 번째로 하드웨어와 소프트웨어 서브시스템으로 구성된 경량 지속성 중심 플랫폼인 LightPC를 제안하며, 각각 오픈 채널 PMEM(OC-PMEM)과 지속성 중심 OS(PecOS)로 명명한다. OC-PMEM은 기존 복잡한 구조의 PMEM에서 새로운 메모리 미디어 접근구조를 단순화하여 휘발성 데이터 구조와 비휘발성 데이터 구조 사이의 물리적, 논리적 경계를 없앴다. PecOS는 단일 실행 지속성 컷을 제공하여 정전 시 실행상태를 영구적인 정보로 신속하게 변환하여 지속성 제어 오버헤드를 제거하고 기존 소프트웨어의 변경없이 새로운 메모리를 사용할 수 있도록 한다. 평가 결과에 따르면 OC-PMEM은 $72%$ 더 낮은 전력과 $44.2%$ 더 적은 에너지를 소비하면서 DRAM만 사용하는 비지속성 시스템과 비슷한 사용자 수준의 성능을 구현할 수 있는 것을 확인하였다. 또한, LightPC는 기존 직교 지속성 시스템 대비 다양한 HPC 및 SPEC 워크로드의 실행 시간을 각각 평균 1.9배, 7.7배 단축하였다.
마지막으로 TrainingCXL은 분산 메모리 풀에서 대규모 추천 데이터 세트를 효율적으로 처리하는 동시에 낮은 오버헤드로 학습 결함 감내성(fault tolerant)을 확보할 수 있다. 이를 위해 i) 퍼시스턴트 메모리(PMEM)와 GPU를 캐시 일관성 도메인에 CXL 타입-2 장치로 통합한다. CXL을 활성화를 통해 PMEM을 GPU의 메모리 계층 구조에 직접 배치할 수 있으므로 소프트웨어 개입 없이도 GPU가 PMEM에 접근할 수 있다. 평가 결과, TrainingCXL은 최신 PMEM 기반 추천 시스템에 비해 5.2배의 학습 성능 향상과 $76%$ 에너지 절감을 달성한 것으로 나타났다.
