As artificial intelligence (AI) performance improves, the complexity of AI has increased exponentially in recent years. To solve the ‘memory bottleneck’ problems caused by data movement in the Von-Neumann computer architecture, the Processing-in memory (PIM) technology, which processes data in the memory unit and transfers only necessary data, is attracting attention. Among PIM Memory, ReRAM is receiving more attention because Matrix-Vector Multiplication (MVM) operations performed on crossbar arrays play a similar role to the multiplication and accumulation operation of Neural Network. However, the ReRAM has non-ideal characteristics such as IR Drop, thermal noise, shot noise, and Stuck-At-Fault (SAF), which negatively affects the use of ReRAM as a neural network accelerator. In this work, we study the IR Drop. We analyzed the effect of IR Drop on the accuracy of neural network in ReRAM PIM and point out that IR Drop is a non-negligible factor. The previous study uses a re-training by reflecting the expected value of IR Drop to the weight value. However, it requires many resources such as memory, time, and power consumption for re-training, and a change in the weight values always accompanies it. To solve this problem, we propose methods that can minimize the change in neural network accuracy due to IR Drop by using two aspects of the algorithm and the hardware without performing re-training even in an inference environment. Our compensation experimental results show an accuracy drop within -1.4% compared to the non-IR Drop at the worst-IR Drop of 35%.
최근 폰-노이만 컴퓨터 구조에서 데이터 이동에 의해 발생하는 메모리 병목현상을 해결하기 위해, 메모리에서 연산을 직접 수행하여 최소한의 데이터만을 이동시키는 Processing-in Memory (PIM)가 주목받고 있다. 그 중에서도 ReRAM은 crossbar-array에서 수행되는 Matrix-Vector Multiplication (MVM) 연산이 신경망의 multiplication and accumulation 연산과 동일한 역할을 수행할 수 있기 때문에 더욱 주목받고 있다. ReRAM의 경우 IR Drop, Thermal Noise, Shot Noise 와 Stuck-At-Fault (SAF)와 같은 Non-Ideal한 특성을 가지고 있으며, 이러한 요소들은 ReRAM이 신경망 하드웨어로 사용되는 측면에서 부정적인 영향을 발생시킨다. 본 논문은 Non-Ideal 특성 중 IR Drop에 관한 연구를 진행하였다. 우선 ReRAM PIM의 IR Drop이 신경망 알고리즘의 정확성에 미치는 영향을 분석하고, IR Drop이 무시할 수 없는 요소임을 확인하였다. 또한, 이전 연구의 경우 IR Drop의 예상 값을 weight 값에 반영하여 re-training을 진행하는 방법을 사용하였다. 이러한 방법은 re-training을 위한 메모리, 시간 및 파워 등 많은 자원이 필요하며, weight 값의 변화를 항상 동반하게 된다. 이를 해결하기 위해 inference 환경에서도 re-training을 수행하지 않고, 알고리즘과 하드웨어의 두 가지 측면을 이용하여 IR Drop으로 인한 정확성 변화를 최소화할 수 있는 방법을 제시하였다. 최종적으로 Worst IR Drop 35%환경에서 Non-IR Drop 대비 정확성 기준 최대 -1.4% 이내까지 보상됨을 확인하였다.