Endowing a robot with human-like cognitive capabilities is one of the long-term goals of artificial intelligence and robotics. In this dissertation, we introduce our approach to building a cognitive robot from a visuomotor associative learning perspective. We assumed that cognitive robot behaviors would emerge by learning from sensorimotor experience acquired from the interaction with its environment. Particularly, we focused on the four key principles: learning from experience, sensorimotor integration, hierarchical computation, and prediction error minimization. Based on these principles, we proposed deep neural network models that can learn from large-scale visuomotor patterns in an end-to-end manner. Then, we conducted a series of synthetic robotic experiments from reaching-and-grasping to imitation tasks to understand the underlying roles of visuomotor association in various tasks. The experimental results verified that the proposed model learned the tutored skills and generalized them to novel situations. The model developed and coordinated a set of cognitive skills including visual perception, working memory, action preparation and execution in a seamless manner. Furthermore, the proposed model was able to develop a predictive model of the world through predictive learning of visuo-proprioceptive patterns. Consequently, the model could perform mental simulation of action with given intention. In addition, the model was also able to infer intention behind observations by minimizing prediction error. To conclude, this dissertation illustrates a cognitive neurorobotics approach to building cognitive agents based on the key principles of the brain.
인간의 인지능력과 유사한 능력을 갖춘 로봇을 만드는 것은 인공지능과 로보틱스의 오래된 목표이다. 본 연구에서는 시각운동학습을 바탕으로 한 인지로봇 설계를 연구한다. 본 연구에서는 로봇이 주위 환경과 상호작용을 하며 얻게 되는 동적인 감각운동 경험을 학습함으로써, 다양한 인지적 기능들을 발전시킬 수 있다고 가정하였다. 특히 본 연구에서는 네 가지 핵심 원리 (경험으로부터 학습, 감각운동 통합, 계층적 계산, 그리고 예측 오류 최소화)에 초점을 맞추었다. 이러한 원리들을 바탕으로 시공간적인 감각정보를 단대단 방식으로 학습할 수 있는 심층 인공신경망 모델을 제안하였다. 이를 이용하여 물체 조작에서부터 행동 모방까지 다양한 로봇 실험을 진행하여 여러 상황에서 감각운동 학습의 역할을 연구하였다. 실험 결과, 본 연구에서 제안한 모델을 통하여, 로봇은 다양한 기술들을 학습하고 새로운 상황에 적용할 수 있었다. 시공간적 감각운동 데이터를 학습함으로써 본 모델은 시지각, 작업 기억, 행동 준비 및 실행 등 다양한 인지적 기능들을 발전하고 조율할 뿐 아니라 주위 환경에 대한 예측모델을 구성할 수 있었다. 이 예측모델을 이용하여, 본 모델은 다양한 동적인 감각운동 정보들을 외부 입력 없이 심적으로 시뮬레이션할 수 있었다. 또한 본 모델은 다른 에이전트의 행동을 예측할 수 있었고, 예측 오류를 줄이는 과정에서 다른 에이전트 행동의 저변에 있는 의도를 파악할 수 있었다.
