In this paper, we, for the first time, propose a reinforcement-learning model to design an optimal 3D X-Point array structure considering signal integrity issues. The interconnection design problem is modeled to the MDP. The proposed reinforcement-learning model designs the 3D X-Point array structure based on three reward factors: the number of bits, the crosstalk, and the IR drop. We applied multi-layer perceptron and long shot-term memory to parameterize the policy. Proximal policy optimization is used to optimize the parameters to train the policy. The reward of the proposed reinforcement-learning model is well converged with variations of the array structure size and hyperparameters of the reward factors. We verified the scalability and sensitivity of the proposed reinforcement-learning model. With the optimal 3D X-Point array structure design, we analyzed the reward factor and signal integrity issues. The optimal design of the 3D X-Point array structure shows 17 % to 26.5 % better signal integrity performance than the conventional design in finer process technology. In addition, we suggest a range of possible directions for improvement of the proposed model with variations of MDP tuples, reward factors, and learning algorithms, among other factors. Using the proposed model, we can easily design an optimal 3D X-Point array structure with a certain size, performance capabilities and specifications based on reward factors and hyperparameters.
본 논문에서는 신호 무결성 문제를 고려하여 최적의 3D X-Point 어레이 구조를 설계하기 위한 강화 학습 모델을 처음으로 제안한다. 상호 연결 설계 문제는 MDP로 모델링되며, 제안된 강화 학습 모델은 비트 수, 누화, 전압 강하의 세 가지 보상 요소를 기반으로 3D X-Point 배열 구조를 설계한다. 다층 퍼셉트론과 장기 기억을 적용하여 정책을 매개변수화 하였으며, 근위정책최적화는 정책을 훈련하기 위해 매개변수를 최적화하는 데 사용된다. 제안된 강화 학습 모델의 보상은 배열 구조 크기와 하이퍼파라미터의 변화로 잘 수렴되며 확장성과 민감도를 검증하였다. 최적의 3D X-Point 어레이 구조 설계로 보상 요인 및 신호 무결성 문제를 분석하였다. 3D X-Point 어레이 구조의 최적 설계는 미세 공정 기술에서 기존 설계보다 17% ~ 26.5% 더 나은 신호 무결성 성능을 보여주며, 또한 MDP 튜플, 보상 요인, 학습 알고리즘 등을 변형하여 제안된 모델을 개선할 수 있는 다양한 방향을 제안하였다. 제안된 모델을 사용하여 보상 인자와 하이퍼파라미터를 기반으로 특정 크기, 성능 및 사양을 가진 최적의 3D X-Point 어레이 구조를 쉽게 설계할 수 있다.
