Data analytics of managing ever-growing datasets in the cloud presents a challenge with the end of Dennard scaling. Moreover, traditional von-Neumann computing architecture exacerbates the “memory wall” problem. To this end, memory-centric architectures, such as near-memory processing (NMP) and processing-in-memory (PIM), are re-emerging as attractive solutions to accelerate data-intensive applications. Especially the memory-centric architecture is a perfect match for data analysis applications because it can significantly improve performance and energy efficiency by reducing data movement.
We observe two challenges of prior NMP and PIM architectures when it comes to accelerating data analysis applications. First, NMP architectures limit the performance achievement by leaving the abundant DRAM’s internal bandwidth unutilized. Second, while PIM architectures can exploit DRAM’s internal bandwidth to a greater extent than NMP architectures, integrating computational logic more closely, the abundant internal bandwidth comes at the cost of flexibility in controlling each PIM core.
We propose a combined PIM and NMP architecture for accelerating data analytics operations. The architecture is designed considering the properties of data analytics operators and DRAM’s structure. PIM computation cores, buffers, and control circuits are placed across the hierarchical levels of DRAM to exploit the multiple levels of parallelism. The proposed architecture supports multi-threading, where a bank group constitutes a PIM thread, enabling flexible utilization of each thread in parallel. We also propose a new interface for controlling up to 64 PIM threads per rank, enabling programmability of each core with minimized command bottleneck. Compared to baseline CPU architectures, the proposed architecture achieves up to 528x higher throughput and reducing energy consumption by 15.3% than the baseline with only 4.1% additional area overhead.
클라우드에서 지속적으로 증가하는 데이터셋을 관리하는 데이터 분석은 데나드 스케일링의 끝으로 새로운 도전을 제시합니다. 게다가, 전통적인 폰 노이만 컴퓨팅 아키텍처는 “메모리 벽” 현상을 악화시킨다. 이를 위해 PIM(Processing-in-Memory) 과 NMP(Near-Memory Processing)와 같은 메모리 중심 아키텍처는 데이터 집약적인 응용의 성능을 가속화할 수 있는 효과적인 솔루션으로 다시 부상하고 있습니다. 특히 메모리 중심 아키텍처는 데이터 분석 응용과 완벽하게 상응할 수 있습니다. 데이터 이동을 줄임으로써 성능과 에너지 효율성을 크게 향상시킬 수 있기 때문입니다. 데이터 분석 응용을 가속하기 위한 이전의 NMP 및 PIM 아키텍처의 두가지 문제점을 관찰하였습니다. 첫째, NMP 아키텍처는 풍부한 DRAM의 내부 대역폭을 활용하지 못하기 때문에 성능이 제한됩니다. 둘째, PIM 아키텍처는 DRAM의 내부 대역폭을 풍부하게 활용할 수 있지만, DRAM 내부의 제한된 물리적 특성 때문에 데이터 분석과 같은 복잡한 연산을 지원하는 연산 회로를 집적하는 것에 제한이 됩니다. 따라서 우리는 데이터 분석 응용을 가속하기 위해 PIM과 NMP의 결합된 아키텍처를 제안합니다. 이 아키텍처는 데이터 분석 응용의 특성과 DRAM의 구조를 고려하여 설계되었습니다. PIM 연산 코어, 버퍼 및 제어 회로는 DRAM의 계층적 레벨에 걸쳐 배치되어 여러 레벨의 병렬화를 활용합니다. 제안된 아키텍처는 뱅크 그룹이 PIM 스레드를 구성하는 멀티 스레딩을 지원하여 각 스레드를 병렬로 유연하게 활용할 수 있다. 우리는 또한 커맨드 병목 현상을 최소화하면서 각 코어의 프로그래밍 가능성을 가능하게 하는 랭크 당 64개의 PIM 스레드를 제어하기 위한 새로운 인터페이스를 제안한다. CPU 와 비교하여 제안된 아키텍처는 뱅크 및 뱅크 그룹 레벨 병렬화를 최대 528배까지 활용하며, 15.3% 에너지 감소를 보였으며 GDDR6 면적 대비 오직 4.1% 의 추가적인 면적이 요구됩니다.
