For recent years, deep reinforcement learning, which leverages deep neural networks for learning reinforcement learning agents, has achieved successful results in control tasks, and the need for understanding and explaining learning processes or outcomes of deep reinforcement learning has also been raised. In this thesis, we try to extend the notion of minimal sufficient explanation, which explains behaviors of an agent learned in tabular reinforcement learning, into continuous state spaces, in order to explain behaviors of deep reinforcement learning agent. Further, we propose a novel explanation generation algorithm for deep reinforcement learning policies with the extended notion, and show how our method is efficient for explaining behaviors of reinforcement learning agents, by comparing naive baseline algorithms.
최근 강화학습에 심층신경망을 사용하는 심층강화학습이 제어문제의 정책 학습에 성공적인 성과를 거두면서, 심층강화학습의 관심이 높아지고 있는 가운데, 심층강화학습의 학습과정 혹은 학습결과에 대한 이해와 설명에 대한 필요성 또한 높아지고 있다. 본 학위논문에서는 유한 마르코프 결정과정에서의 정책의 설명방법으로 제시되었던 방법 중 하나인 최소충분설명의 개념을 심층강화학습 결과의 설명에 사용하기 위해 연속 마르코프 결정과정에서도 적용가능한 개념으로 확장하고자 한다. 또한 본 연구에서 확장한 개념을 실제 심층강화학습 알고리즘으로 학습된 정책에 적용하여 행동에 대한 설명을 생성하는 알고리즘을 예시로 제시하고, 간단하게 생각할 수 있는 다른 비교 알고리즘과 대비하여 얼마나 효율적으로 설명을 생성하는지 보이려고 한다.
