With the advent of Artificial Intelligence (AI) and Big Data era, the volume of data that users need to process has increased exponentially. In this circumstance, traditional computing architecture, particularly the von Neumann architecture, has experienced significant performance degradation due to the data bottlenecks between memory and compute units. To address this issue, the processing-in-memory (PIM) architecture, which integrates compute units in memory, has emerged and gained prominence as the next-generation computing architecture. However, in current computer architecture, various types of memory exist hierarchically and each has different interconnect, capacity and access speed characteristics. As a result, these various memory characteristics require different considerations at the circuit, architecture, and system levels in the implementation of PIM architecture.
In this paper, we introduce various PIM architecture research on different memory hierarchy. Within these various research, the paper addresses the essential considerations for implementing PIM architecture at each memory location. It is primarily divided into two main sections: one for near-memory processing based PIM architecture research on the storage level, and the other for in-memory processing based PIM architecture research on the cache/SRAM level. At the storage level, we present near-memory processing based PIM architectures for data-intensive applications, such as large-scale graph-based nearest neighbor search and advanced data analytics. Each research introduces a novel hardware acceleration platform for target application with leveraging a computational storage device that can directly access storage data. More specifically, we provide the hardware architecture that can leverage the bandwidth benefit of computational storage device and the detailed microarchitecture for accelerating the target computations. In addition, we develop a software stack to enable seemly integration of computational storage device in a new acceleration platform. At the cache/SRAM level, we present in-memory processing based PIM architectures for deep learning application. As the memory and the processor are located in the same side without any interconnect, this scenario does not have much bandwidth gains when using near-memory processing. As a result, unlike the storage level, we focus on developing in-memory processing based PIM architecture and memory cell structure capable of performing deep learning operations with low power consumption and high performance. With these aggregation, we finally present a novel reconfigurable architecture that can leverage the strengths of both PIM and traditional von Neumann architecture. Based on this, we present an energy-efficient multi-DNN hardware accelerator and also provide the new scheduling and compilation techniques for its efficient processing. In conclusion, this paper describes the utility of PIM architecture for a various applications in machine learning and deep learning fields, shedding light on hardware architecture society.
인공지능 그리고 빅데이터 시대가 도래 함에 따라 사용자가 가공해야 하는 데이터의 양은 기하급수적으로 증가하였다. 이로 인해 기존 컴퓨팅 구조(폰 노이만 구조)는 메모리와 연산장치 간의 데이터 흐름 병목 현상으로 큰 성능 저하를 경험하게 된다. 이러한 문제를 해결하고자 메모리와 연산장치를 통합한 프로세싱-인-메모리 아키텍처가 제시 되었고 이는 차세대 컴퓨팅 구조로 주목받고 있다. 그러나 현재 컴퓨터 구조에서는 다양한 종류의 메모리가 계층 구조로 존재하며, 이들은 위치, 용량, 접근 속도 등에서 상이한 특징을 보인다. 결과적으로 이러한 다른 메모리 특징은 프로세싱-인-메모리 아키텍처 구현에 있어 회로, 아키텍처, 시스템 레벨에서 고려해야 할 사항들을 다르게 만든다.
본 논문에서는 다양한 메모리 계층 구조에 대한 프로세싱-인-메모리 아키텍처 연구들을 소개하며, 각 메모리 위치에서 프로세싱-인-메모리 아키텍처를 구현 함에 필요한 고려사항 다룬다. 논문은 크게 스토리지 레벨에서의 니어-메모리 프로세싱을 활용한 프로세싱-인-메모리 아키텍처 연구와 캐시/에스램 레벨에서의 인-메모리 프로세싱을 활용한 프로세싱-인-메모리 아키텍처 연구로 구성된다. 스토리지 레벨에서는 엄청난 크기의 데이터 양을 요구하는 초거대 그래프 기반 최근접 이웃 탐색 및 고급 데이터 분석을 위한 프로세싱-인-메모리 아키텍처 연구를 소개한다. 해당 연구에서는 스토리지 데이터에 직접 접근 가능한 계산형 스토리지 장치를 활용하여 각 애플리케이션에 대한 새로운 가속 플랫폼을 제시한다. 이를 위해 계산형 스토리지 장치의 대역폭 이점을 활용하고 각 애플리케이션이 요구하는 연산을 효율적으로 처리할 수 있는 하드웨어 구조를 제시하며, 새로운 가속 플랫폼 내에서 계산형 스토리지 장치의 효율적 운영을 위한 소프트웨어 스택을 소개한다. 캐시/에스램 레벨에서는 에너지 효율적인 딥러닝 가속을 위한 프로세싱-인-메모리 아키텍처 연구를 소개한다. 대역폭 이득이 없는 해당 레벨에서는 딥러닝 연산을 저전력 및 고성능으로 처리할 수 있는 인-메모리 프로세싱 기반 아키텍처와 메모리 셀 구조를 제시한다. 이와 더불어, 최종적으로는 프로세싱-인-메모리 아키텍처와 기존 폰 노이만 아키텍처의 장점을 모두 활용할 수 있는 융합 아키텍처를 소개하며, 해당 아키텍처를 기반으로 한 하드웨어 가속기와 함께 이를 효율적 운영할 수 있는 스케쥴링 및 컴파일링 기법을 소개한다. 최종적으로 본 논문은 다양한 머신러닝/딥러닝 애플리케이션들에 대한 프로세싱-인-메모리 아키텍처의 효용성을 보여주며 각 메모리 레벨에서 프로세싱-인-메모리 아키텍처 설계에 있어 다양한 니어-메모리 프로세싱 기법 및 인-메모리 프로세싱 기법들을 소개한다.
