In this paper, we firstly propose processing-in-memory in high bandwidth memory (PIM-HBM) architecture with efficient channels for energy efficiency and high performance in artificial intelligence servers. The main concept of the proposed PIM-HBM architecture is to embed processing units into a logic layer of high bandwidth memory (HBM) to decrease the energy consumption of interconnection and increase the data bandwidth of dynamic random-access memory (DRAM). Based on the area and configuration of the HBM, the proposed architecture is designed considering the physical feasibility. In addition, on-chip, interposer, and through silicon via (TSV) channels are designed and analyzed for the proposed architecture. To verify the proposed PIM-HBM architecture, the energy consumption, delay, and bandwidth of the channel are obtained through circuit simulation, and the energy efficiency and performance of the proposed architecture are evaluated by an architectural simulation embedding the result of the circuit simulation.
본 논문에서는 인공지능 서버에서의 에너지 효율과 고성능을 위한 효율적인 채널을 갖춘 고 대역폭 메모리의 프로세싱 인 메모리 아키텍처를 제안합니다. 제안한 PIM-HBM 아키텍처의 핵심 개념은 연산 장치를 고대역폭 메모리의 로직 층에 내장하여 상호 연결의 에너지 소비를 줄이고 동적 랜덤 액세스 메모리의 데이터 대역폭을 늘리는 것입니다. 제안한 아키텍처는 고대역폭 메모리의 면적과 구성을 바탕으로 물리적 타당성을 고려하여 설계되었으며, 제안한 아키텍처를 위한 온칩, 인터포저 및 TSV 채널을 설계하고 분석합니다. 또한 제안한 아키텍처를 검증하기 위해, 회로 시뮬레이션을 통해 채널의 에너지 소비, 지연 및 대역폭을 얻고, 이 결과를 내장하는 아키텍처 시뮬레이션을 통해 제안한 아키텍처의 에너지 효율 및 성능을 평가합니다.
