Processing-in-memory (PIM) has demonstrated its high usage in accelerating data intensive applications such as transformer. Previous works mainly focus on optimizing the computational part of PIM to achieve higher energy efficiency. However, the importance of memory design, which consumes the most power in PIM operation, has been rather neglected. In this work, we propose an energy optimization framework for eDRAM based PIM called RED, featuring a novel reconfigurable eDRAM and retention-aware scheduling. The RED framework dynamically adjusts eDRAM operations to match specific use cases, significantly improving power efficiency. It estimates overall energy consumption across all possible tiling schemes and memory operations, pinpointing the most energy-efficient operating point. Reconfigurable eDRAM demonstrates a reduction in power consumption of memory access by up to 71.31%. Additionally, by selecting the best tiling scheme and memory operation through our energy modeling, RED achieves 1.84×-3.03× higher energy efficiency compared to the baseline.
프로세싱-인-메모리 (PIM)은 트랜스포머와 같이 메모리에 성능에 제한되는 애플리케이션을 가속화하는 데 높은 활용도를 보여왔다. 이전 연구들은 주로 에너지 효율을 높이기 위해 PIM의 연산기를 최적화하는 데 중점을 둔다. 하지만 PIM 동작에서 가장 많은 전력을 소비하는 메모리 설계의 중요성은 다소 소홀이 다루어져왔다. 본 논문에서는 재구성 가능한 eDRAM 및 보존 시간-인식 스케줄링을 특징으로 하는 RED라는 eDRAM 기반 PIM을 위한 에너지 최적화 프레임워크를 제안한다. RED 프레임워크는 특정 사용 사례에 맞게 eDRAM 동작을 동적으로 조정하여 전력 효율을 크게 개선한다. 이 프레임워크는 가능한 모든 타일링 방식과 eDRAM 동작 별 전체 에너지 소모량을 추정하여 가장 에너지 효율적인 동작 지점을 찾아낸다. 본 논문에서 제안하는 재구성 가능한 eDRAM은 메모리 접근 전력 소비를 최대 71.31% 감소시킨다. 또한, 에너지 모델리을 통해 최적의 타일링 방식과 메모리 동작을 선택함으로써 베이스라인 대비 1.84배-3.03배 더 높은 에너지 효율을 달성한다.
