Deep policy networks enable robots to learn behaviors to solve various real-world complex tasks in an end-to-end fashion. However, they lack transparency to provide the reasons of actions. Thus, such a black-box model often results in low reliability and disruptive actions during the deployment of the robot in practice. To enhance its transparency, it is important to explain robot behaviors by considering the extent to which each input feature contributes to determining a given action. In this thesis, we present an explicit analysis of deep policy models through input attribution methods to explain how and to what extent each input feature affects the decisions of the robot policy models. To this end, we present two methods for applying input attribution methods to robot policy networks: (1) we measure the importance factor of each joint torque to reflect the influence of the motor torque on the end-effector movement, and (2) we modify a relevance propagation method to handle negative inputs and outputs in deep policy networks properly, while preserving the theoretical foundation of it. To the best of our knowledge, this is the first report to identify the dynamic changes of input attributions of multi-modal sensor inputs in deep policy networks online for robotic manipulation.
로봇은 심층 정책 신경망을 통해 실생활의 복잡한 작업을 수행하는 정책을 종단간 학습할 수 있다. 하지만 심층 정책 신경망 학습을 통한 로봇 제어에는 로봇 행동의 이유를 제공하는 투명성이 결여되어 있다. 따라서 이러한 블랙박스 모델은 학습기반 로봇 제어 모델을 실생활에 배치하는 과정에서 로봇의 파괴적인 행동과 그에 따른 낮은 신뢰도를 초래한다. 블랙박스 모델의 투명성을 향상시키는데에는 각 입력 특징들이 로봇 행동에 끼친 기여도를 고려하여 로봇 행동의 이유를 설명하는 것이 중요하다. 본 학위논문에서는 각 입력 특징들이 로봇 제어 모델의 의사결정 과정에 어떻게, 그리고 얼마나 영향을 끼치는지 설명하기 위해 입력 기여도 방법을 사용하여 심층 정책 신경망을 명시적으로 분석한다. 로봇 정책 모델에 입력 기여도 방법을 적용하기 위해서 다음의 두 가지 방법론을 제시하는데, (1) 로봇의 각 관절에 적용되는 토크 커맨드가 엔드 이펙터에 끼치는 영향력을 반영하기 위해 각 토크 커맨드의 중요도를 계산하는 방법을 제안하고, (2) 기존 방법론의 이론적 배경을 보존함과 동시에 로봇 정책 네트워크의 입력과 출력의 음수 값을 다루기 위한 수정된 기여도 전파 방법을 제안한다. 우리가 아는 한, 본 학위논문은 로봇 제어를 위한 심층 정책 네트워크에서 멀티 모달 센서 입력들의 기여도 변화를 실시간으로 확인한 최초의 시도이다.
