In this article, we propose for the first time a constructive deep deterministic policy-based reinforcement learning method for optimizing DDR5 memory signaling architectures. The proposed method is a design optimization methodology for maximizing the eye diagram, which is a performance indicator of the channel for many factors such as desired components and termination and decision feedback equalizer, in the entire channel from the processor to the memory in order to improve the limitations of the DDR5 channel. Deterministic policy is used to optimize successive factors, and deterministic policy-based reinforcement learning based on constructive neural networks is used to reflect the association of many factors being optimized. The proposed method can be reused because the result can be obtained immediately even if the values of a given environment are changed. To verify the optimality and optimization time of the proposed methodology, we compared the lattice search method based on the Latin hyperbolic sampling method, the random search method, and the conventional optimization methods such as the Bayesian optimization method, and probabilistic policies such as the advanced actor critical and proximity policy optimization. We compared it with the reinforcement learning method based on it. As a result, the proposed method proved to be the best method in terms of optimization performance, optimization time, and reusability.
이 논문에서는 DDR5 메모리 시그널링 아키텍쳐 최적화를 위한 건설적 심층 결정론적 정책 기반 강화학습 방 법을 처음으로 제안한다. 제안된 방법은 DDR5 채널의 한계점을 개선하기위해 프로세서부터 메모리까지의 전체 채널에서 원하는 구성요소 및 터미네이션과 결정 피드백 이퀄라이저 등 많은 요인들에 대한 채널의 성 능지표인 아이다이어그램을 최대화 하기위한 설계 최적화 방법론이다. 연속적인 요인을 최적화 하기위해서 결정론적 정책을 사용하였으며, 최적화 되는 많은 요인들의 연관성을 반영하기위해 건설적인 뉴럴 네트워크 기반의 결정론적 정책기반의 강화학습을 사용한다. 제안된 방법은 주어진 환경의 값들이 변경되어도 결과를 바로 얻을수있어 재사용이 가능하다. 제안된 방법론의 최적성 및 최적화 시간 검증을 위해 라틴 하이퍼볼릭 샘플링 방법기반의 격자 검색 방법과 무작위 검색 방법 그리고 베이지안 최적화 방법과 같은 기존 최적화 방법과 비교하였으며 어드벤스드 액터 크리틱 및 근접 정책 최적화과 같은 확률론적 정책 기반 강화학습 방법들과 비교하였습니다. 결과적으로 제안된 방법은 최적화 성능, 최적화 시간, 재사용성에서 모두 가장 좋은 방법임을 증명하였다.
