서지주요정보
Memory augmented deep reinforcement learning in non-markovian environments = 비마르코프 환경에서의 메모리 결합 심층 강화학습
서명 / 저자 Memory augmented deep reinforcement learning in non-markovian environments = 비마르코프 환경에서의 메모리 결합 심층 강화학습 / Muhammad Hassaan Hashmi.
저자명 Hashmi, Muhammad Hassaan ; 하쉬미 무하마드 핫산
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8032965

소장위치/청구기호

학술문화관(문화관) 보존서고

MEE 18134

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Artificial neural networks currently provide the best performance in the field of reinforcement learning. Here, a new deep reinforcement learning framework, called the deep recurrent external memory Q-Network (DReEMQN) is proposed. It consists of a deep neural network and an external memory matrix. The neural network acts as a function approximator for the deep Q-learning algorithm. The external memory is manipulated by a recurrent layer from with in the network, creating a true integrative framework for both learning and remembering what was learnt. The external memory is able to remember longer sequences of the observed states and actions taken by the reinforcement learning agent, and thus this framework is aimed at functioning well in real world environments where the environment state description is limited and long term dependencies on previous actions and states are needed to be remembered. DReEMQN is then tested on partially observable grid world environments of multiple sizes and is compared with a Deep Recurrent Q-Network, which does not have an external memory. The results obtained from the said experiments confirmed that the external memory integration in a deep reinforcement learning algorithm aids the algorithm to perform better in environments where observations are limited and an internal representation of the unobserved environment states and the agent’s past actions is needed.

인공 신경 네트워크는 현재 강화 학습 분야에서 최고의 성과를 제공하고 있다. 이 논문에서 심층 재발 외부 메모리 Q-네트워크(DReEMQN) 라는 새로운 심층 강화 학습 프레임워크를 제안한다. 이 새로운 구조는 깊은 신경 네트워크와 외부 기억 매트릭스로 구성되어 있다. 신경 네트워크는 깊은 Q 러닝 알고리즘을 위한 접속자 함수 역할을 한다. 또한 외부 기억 매트릭스는 네트워크를 통해 반복되는 계층에 의해 조작되며, 이는 배우고자 하는 바를 학습하고 기억하기 위한 통합 체계를 구성한다. 외부 기억 매트릭스를 통하여 강화 학습 에이전트는 관찰한 상태들과 행동들의 더 긴 시퀀스를 기억할 수 있게 된다. 이 프레임워크는 환경의 상태의 묘사가 이전의 상태들과 행동들에 대하여 장기간의 의존성을 갖는 실제 환경을 잘 함수화하는 것을 목표로 한다. DReEMQN의 성능 분석을 위하여 다양한 크기의 부분적으로 관측 가능한 격자 세계 환경에서 실험하고 이 결과들을 외부 메모리가 없는 심층 재발 Q-네트워크를 사용한 결과들과 비교하였다. 이 실험들로부터 얻어진 결과들을 통하여 심층 강화 학습 알고리즘에서 외부 메모리 통합을 사용할 시 관측이 제한되어 관측되지 않은 환경의 상태들과 행동들의 내부 묘사가 필요한 환경에서 더 나은 수행을 하는데 도움을 준다는 것을 확인했다.

서지기타정보

서지기타정보
청구기호 {MEE 18134
형태사항 iv, 36 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 하쉬미 무하마드 핫산
지도교수의 영문표기 : Jong Hwan Kim
지도교수의 한글표기 : 김종환
학위논문 학위논문(석사) - 한국과학기술원 : 전기및전자공학부,
서지주기 References : p. 35-36
주제 Machine learning
deep reinforcement learning
artificial neural network
attention mechanism
기계 학습
심층 강화학습
인공 신경망
attention 메거니즘
비마르코프
QR CODE qr code