Learning compact state representations from high dimensional and noisy observations is the cornerstone of reinforcement learning (RL). However, these representations are often strongly biased toward the current task structure and associated goals, making it hard to generalize to other tasks. Inspired by the human analogy-making process, we propose a novel representation learning framework for learning task-invariant action features in RL. It consists of task and action relevant encoding, hypothetical observation generation, and analogy making between the original and hypothetical observations. Our model introduces an auxiliary objective that maximizes the mutual information between the generated image, and existing labels of codes used to generate the image. Experiments on various challenging RL environments showed that our model helps the RL agent generalize by effectively separating the action features from others. We also interpreted the role of our model as an information-theoretic perspective.
고차원 입력 데이터를 기반으로 학습하는 현재의 심층 강화 학습 알고리즘 기술은 실제상황에서 문제 해결 정책을 찾아낼 수 있다는 점에서 다양한 분야에 적용될 수 있다. 하지만 종종 학습한 작업 구조와 관련 시각적 특징에 과적합되어 다른 작업으로의 정책 확장에 제약이 많다. 이 논문에서는 사람의 유추 과정을 활용하여 강화학습 에이전트가 일반화 가능한 정책을 학습할 수 있는 자기 지도 기반 학습 프레임워크를 제안한다. 제안된 모델은 관측을 두 개의 독립적인 코드로 분리하고 이를 조합하여 가상 관측을 생성한다. 그리고, 각 코드 벡터는 가상 관찰과 기존 관측 사이의 상호 정보를 최대화하여 각각 문맥 관련 정보와 배경 관련 정보를 반영하도록 훈련된다. 제안 모델이 배경으로 부터 문맥을 효과적으로 분리하여 학습된 정책을 일반화하는 데 도움을 준다는 것을 다양한 도전적인 강화학습 환경에 대한 실험을 통해 보이고 정보이론 관점에서 해석 가능한 의미를 전달한다.
