In general, when a novice attempts to imitate an expert’s behavior, the novice can not fully grasp the expert’s internal state. For example, when we learn the movement of a professional soccer player, we performe imitation learning while watching the video of the player, and we do not see the internal state such as the player’s joint or psychological state. In this case, the state information of the expert is compressed and transmitted to the novice, and the novice observes the compressed state information and performs imitation learning from this information. Therefore, the novice needs the ability of imitation learning from the expert state information projected onto the compressed observation domain. In the case of a person, this work can be done naturally through empathy with others, but it is a very challenging task for machines because machines require a lot of cross-domain pairs between the original state domain and the compressed observation domain. In this thesis, we propose an algorithm that can perform imitation learning from the compressed observation domain with only a very small amount of expert state sample, without the need of the cross-domain pairs between the state domain and the compressed observation domain.
일반적으로 초보자가 전문가의 행동을 모방하려고 시도할 때 초보자는 전문가의 내부 상태를 완벽하게 파악할 수 없다. 예를 들면 우리가 프로 축구선수의 움직임을 학습하는 경우에 우리는 그 선수의 경기 영상을 보면서 모방 학습을 수행하게 되며 이 경우 우리는 그 선수의 관절 상태나 심리 상태 등의 내부 상태를 보는 것이 아니다. 이 경우에 전문가의 상태 정보는 압축되어서 초보자에게 전달되며 초보자는 이러한 압축된 상태 정보를 관찰하고 이것으로부터 모방 학습을 수행하게 된다. 따라서 초보자는 압축된 관찰 영역으로 투사된 전문가 상태 정보로부터 모방 학습 능력을 필요로 하게 된다. 사람의 경우에는 타인과의 공감 능력을 통해서 자연스럽게 이 작업이 이루어질 수 있지만 기계에게는 많은 양의 원래의 상태 영역과 압축된 관찰 영역 사이의 교차 영역 쌍을 필요로 하기 때문에 아주 어려운 작업이다. 본 논문에서는 상태 영역과 압축된 관찰 영역과의 교차 영역 쌍도 필요 없이 아주 적은 양의 전문가 상태 표본만을 가지고도 압축된 관찰 영역으로부터 모방 학습을 수행하는 것이 가능한 알고리즘을 제시한다.
