In this paper, we propose the through silicon via (TSV) array design optimization method using deep reinforcement learning (DRL) framework. The agent trained through the proposed method can provide an optimal TSV array that maximizes the eye height of TSV channels in one single step. We define the state, action, and reward that are parameters of the Markov decision process (MDP) for optimizing the TSV array considering signal integrity (SI) and train a deep q network (DQN) agent. The proposed method was compared with the entire search algorithm in a 3x3 TSV array in terms of time required and performance for verification. The verified method was applied to the optimal design of a 4x4 TSV array including a 1-byte signal channel of HBM.
본 논문에서는 최초로 심층 강화학습을 이용한 고대역폭 메모리(HBM)의 실리콘 관통 전극 (TSV) 배열 설계 최적화 방법을 제안하였다. 제안된 방법을 통해 훈련된 에이전트는 TSV 채널의 아이-높이를 한 번에 극대화하는 최적의 TSV 어레이를 제공할 수 있다. 신호 무결성 (SI) 을 고려하여 TSV 어레이를 최적화하고 에이전트를 훈련하기 위한 마르코프 결정 과정의 요소들을 SI를 고려하여 정의하였다. 검증을 위해 제안된 방법을 소요 시간과 성능 관점에서 3x3 TSV 어레이에서 전체 검색 알고리즘과 비교하였다. 검증된 방법을 HBM의 1바이트 신호 채널을 포함하는 4x4 TSV 어레이 최적 설계에 적용하였다.
