서지주요정보
향상된 강화학습을 위한 우선 확률 메모리 관리 = Prioritized stochastic memory management for enhanced reinforcement learning
서명 / 저자 향상된 강화학습을 위한 우선 확률 메모리 관리 = Prioritized stochastic memory management for enhanced reinforcement learning / 권태환.
저자명 권태환 ; Kwon, Taehwan
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8032939

소장위치/청구기호

학술문화관(문화관) 보존서고

MEE 18147

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Replay memory is crucial for deep reinforcement learning since it gives stable convergence of learning. Despite this strength of replay memory, less attention has been paid to good memory management and the memory has been managed naively; the oldest one is removed as the newest one comes in. However, the oldest datum is not always the least important one, therefore there are many of possibilities of improvement by better memory management. In this paper, we propose Prioritized Stochastic Memory Management (PSMM) as a better memory management algorithm for enhanced learning performance; PSMM evaluates the importance of data in replay memory and manages the memory based on this importance. We apply PSMM to advantage actor-critic and show that better performance is achieved with PSMM in comparison to naïve memory management.

강화학습에서 리플레이 메모리는 학습의 안정적인 수렴을 준다는 점에서 중요하다. 그러나 메모리의 이러한 장점에도 불구하고, 메모리에 대한 연구는 주목 받지 못했고, 단순한 방식으로 관리되어 왔다. 여기서 단순한 방식이란, 메모리가 가득 찬 후 새로운 데이터가 들어옴에 따라 가장 오래된 데이터가 삭제되는 방식을 말한다. 그러나 가장 오래된 데이터가 가장 중요도가 낮은 데이터라 단언할 수 없으므로, 더 나은 메모리 관리를 통한 학습 성능 향상의 여지는 많을 것이다. 이 논문에서는 더 나은 메모리 관리 방법으로 우선 확률 메모리 관리를 제안하며, 이 방법은 메모리 내 데이터의 중요도를 계산하고 이를 기반으로 한 메모리 관리다. 또한 다양한 환경에서 어드밴티지 액터-크리틱에 이 메모리 관리를 적용한 실험을 진행하고, 더 우수한 학습 성능을 검증한다.

서지기타정보

서지기타정보
청구기호 {MEE 18147
형태사항 19 p. : 삽도 ; 30 cm
언어 한국어
일반주기 저자명의 영문표기 : Taehwan Kwon
지도교수의 한글표기 : 장동의
지도교수의 영문표기 : Dong Eui Chang
학위논문 학위논문(석사) - 한국과학기술원 : 전기및전자공학부,
서지주기 참고문헌 : p. 19
주제 강화학습
리플레이 메모리
메모리 관리
우선순위
학습 성능 향상
Reinforcement learning
replay memory
memory management
prioritization
enhanced learning performance
QR CODE qr code