This thesis covers research on DRAM-based in-memory computing (IMC) to achieve higher density and efficiency in artificial intelligence (AI) accelerators. Recently, IMC technology has been utilized to achieve higher energy efficiency and throughput on AI beyond digital implementation. However, most previous research uses SRAM-based IMC, which limits the density. We propose a DRAM-based IMC method for two AI accelerator chips to achieve higher density and efficiency than existing digital accelerators and SRAM-IMC. First, DynaPlasia proposes a new solution at the memory cell, cell array, and architecture level. First, at the memory cell level, the impact of leakage current is reduced with a new computation method to improve efficiency and accuracy. Additionally, at the cell array level, a numerical expression method reducing the computing logic switching and a hierarchical in-memory analog-to-digital converter (ADC) further improve the computation efficiency. Lastly, at the architectural level, the processor is dynamically reconfigured to operate with higher efficiency and throughput without wasting resources in various structures of actual AI tasks. In addition, the second chip, Scaling-CIM, proposes a cell array and algorithm-level optimization in addition to DynaPlasia's cell to reduce the analog-to-digital conversion burden. First, we propose a method to reduce the number of bits and operations of the ADC for analog computing by utilizing the characteristics of the partial sum distribution in multi-bit operations. To this end, we propose a hardware structure for cell array that can adjust the conversion scale. Also, at the algorithm level, we propose a method of controlling the conversion scale according to the characteristics of each layer in the AI model. Accordingly, the proposed two AI accelerators with DRAM-based IMC achieved higher throughput and energy efficiency than existing artificial intelligence accelerators in actual deep neural network benchmarks.
본 눈문에서는 인공지능 가속기에서 더 높은 집적도와 연산 효율을 달성하기 위한 DRAM 기반의 인-메모리 컴퓨팅에 관한 연구를 다룬다. 최근 디지털 기반의 인공지능 가속기 구현을 넘어 더욱 높은 에너지 효율과 처리량을 달성하고자 인-메모리 컴퓨팅 기술을 활용하고 있다. 하지만 기존 대부분의 연구는 SRAM 기반의 인-메모리 컴퓨팅 방식으로 그 집적도에 한계가 있다. 이 연구에서는, 기존 디지털 가속기와 SRAM 기반의 인-메모리 컴퓨팅 방식보다 더 높은 집적도와 효율을 달성하기 위한 DRAM 기반의 인-메모리 컴퓨팅 방식과 이를 이용한 인공지능 가속기 2개를 제안한다. 먼저 DynaPlasia에서는 메모리 셀 수준부터 셀 어레이와, 아키텍처 수준에서 새로운 구조를 새로 제안한다. 먼저 메모리 셀 수준에서는 연산 결과에 누설 전류의 영향을 줄여 연산 효율과 정확도를 향상한다. 또한 셀 어레이 수준에서는 연산 로직의 동작을 줄이는 숫자 표현 방식과 계층적 인-메모리 아날로그-디지털 변환기 사용으로 연산 효율을 향상한다. 마지막으로 아키텍처 수준에서는 실제 뉴럴 네트워크의 다양한 구조에서 리소스 낭비 없이 더 높은 효율과 처리량으로 동작할 수 있도록 동적으로 프로세서를 재구성한다. 또한 두 번째 Scaling-CIM에서는 DynaPlasia의 셀 구조에 더해 셀어레이 구조와 알고리즘 수준에서 아날로그-디지털 변환의 부담을 줄이기 위한 방식을 제안한다. 먼저, 다중비트 연산에서 발생하는 부분합 분포의 특성을 이용해 아날로그 컴퓨팅에 필요한 아날로그-디지털 변환기의 비트와 동작을 줄이는 방식을 제안한다. 이를 위해 비트별로 변환 스케일을 조절할 수 있는 구조를 제안하며, 알고리즘 수준에서는 이를 심층신경망의 계층별 특징에 맞춰 변환 스케일을 제어하는 방식을 제안한다. 이에 따라, 제안된 DRAM 기반의 인-메모리 컴퓨팅 방식들은 실제 심층신경망 벤치마크에서 기존 인공지능 가속기 대비 더 높은 처리량과 에너지 효율을 달성하였다.
