Long Short-Term Memory (LSTM) is widely used for sequential data processing such as speech recognition and machine translation, and massive number of weights with low reusability makes LSTM suitable for computing in-memory (CIM) approach. However, previous CIM architectures for binary neural networks suffer from high PVT variation, making them impractical to be employed in real-world devices. We propose a PVT-tolerant CIM architecture for binary LSTM based on a customized 4T embedded DRAM cell array. We implement time-multiplexed XNOR within a cell and PVT-tolerant accumulation by exploiting charge sharing. In result, the proposed architecture achieves 1.29x energy efficiency improvements and 14x stable accumulation over previous CIM architectures.
LSTM은 순차적 데이터 처리에 높은 성능을 보이며 음성 인식 또는 기계 번역에 사용되고 있다. LSTM은 웨이트 개수가 매우 많으며 웨이트가 재사용되지 않는다는 특징을 갖기 때문에 메모리 내에서 연산하기 적합한 구조를 갖는다. 기존 메모리 내 연산 아키텍처는 주로 전류 합산 방식을 따르기 때문에 PVT 변화에 매우 민감한 단점을 보인다. 이 논문에서는 기존 논문의 단점을 보완하며 효율적으로 이진 LSTM을 가속할 수 있는 아키텍처를 제안한다: (1) eDRAM 셀 내에서의 시간 선택 XNOR 방법, (2) 전하 공유를 이용한 PVT 변화에 강인한 축적 방법. 제시한 기능을 통해 기존 메모리 내 연산 아키텍처 대비 14배 안정적인 성능을 보이며 1.29배 에너지 효율 향상을 보였다.
