In this paper, we propose imitation learning method with Bayesian exploration for PAM-4 based high-speed serial link design on PCIe 6.0. The proposed method designed a PAM-4-based high-speed serial link through imitation learning that utilizes the Bayesian optimization in the exploration phase, and suggests the possibility of improving the signal integrity of the PAM-4 based high-speed serial link. It is an imitation learning method that divides the exploration based on Bayesian optimization and exploitation stages in the learning process to improve the learning convergence process that takes a long time and iteration due to inefficient exploration that causes in the optimal design process using conventional reinforcement learning. In order to verify the proposed method, the results of applying the proposed method and the results of applying the conventional deep reinforcement learning and applying the Bayesian optimization algorithm to the PAM-4 based high-speed serial link were compared and verified. As a result, we verified that the proposed method has superiority over the conventional design optimization method in terms of optimization and learning time.
본 논문에서는 차세대 PCIe 6.0의 PAM-4 기반 고속 직렬 링크 설계를 위한 베이지안 탐색을 활용한 모방학습 방법론을 제시하였다. 제안한 방법론은 베이지안 최적화 방법을 탐색 단계에서 활용하는 모방학습을 통해 PAM-4 기반 고속 직렬 링크를 설계했으며, PAM-4 기반 고속 직렬 링크의 신호 무결성 향상 가능성을 제시하였다. 기존의 강화학습을 이용한 최적 설계과정에서 발생하는 비효율적인 탐색으로 인한 반복 및 오랜시간이 걸리는 학습 수렴 프로세스를 개선하기 위해 학습 과정에서 베이지안 최적화를 기반한 탐색과 착취 단계를 나누는 모방학습 방법론이다. 제안한 방법론을 검증하기 위해 PAM-4 기반 고속 직렬 링크에 제안한 방법론을 적용한 결과와 기존의 심층 강화학습을 적용한 결과, 베이지안 최적화 알고리즘을 적용한 결과를 비교 검증 하였다. 결과적으로, 우리는 제안한 방법론이 최적화 및 학습시간 측면에서 기존의 설계 최적화 방법론들에 비해 우위를 갖는 것을 검증 하였다.
