Proximal policy optimization algorithm (PPO) is one of the representative methods of policy-based reinforcement learning using actor-critic networks. It has been used as a baseline in various works on reinforcement learning. In this thesis, we newly consider the priorities of samples in the learning process of the critic neural network of the original proximal policy optimization algorithm. With the help of priorities, we accelerate learning the value function faster which can help learning of the actor neural network. We use two different prioritization methods: one using a time difference error as in the prioritized experience replay of deep Q networks and the other one using the Gaussian process regression.
근접 정책 최적화 알고리즘은 행동자-비평자 네트워크를 사용하는 정책 기반 강화학습의 대표적인 방법 중 하나로 발표 이후 현재까지도 다양한 논문에서 베이스 라인으로 사용되고 있다. 본 논문에서는 기존의 근접 정책 최적화 알고리즘의 비평자 신경망 학습 과정에 우선순위를 추가하여 가치 함수를 좀 더 빠르게 학습시켜 행동자 신경망의 학습에까지 도움을 주는 방식을 제안한다. 우선 순위를 부여하는 방식은 기존의 심층 큐 신경망의 우선순위 기반 경험 재현에서와 같이 시간차 오차를 이용한 방법과 가우시안 과정 회귀를 이용한 방법, 두가지를 이용하였다.
