This study investigates developmental learning of linguistic concept acquisition associated with visuo-proprioceptive experience using a simulated humanoid robot. We proposed novel dynamic deep neural network model for processing multimodal information stream. The proposed model is composed of dedicated submodules for visual perception, behavior generation, language comprehension, and integration of those different modalities. The simulated robot learns to associate a set of imperative linguistic phrases with raw visual inputs from the simulator and object-directed actions through two learning stages from human designed curriculum. The generalization capability in the second stage can be achieved from limited number of additional exemplars by utilizing the prior knowledge of the first stage. The experimental result showed that the proposed model can generalize the learned skills of action generation to unfamiliar object configurations. We also examined whether the robot acquired linguistic concept of action and object from limited experiences by visualizing the activity of neurons using a dimensionality reduction technique. The analysis showed that the robot could acquire structured representation of the language associated with the visual features of the object and the dynamical properties of the action.
이 논문에서는 시뮬레이션 상에서 휴머노이드 로봇의 시각-고유감각 경험을 통한 언어 개념 습득의 발달 학습 방법을 연구하였다. 연속적인 다중 양식 정보의 처리를 위하여 새로운 동적 심층 신경망 모델을 제안하였다. 제안된 모델은 시지각, 행동 생성, 언어 이해 그리고 상이한 양식의 통합을 위한 하위 모듈들로 구성되어있다. 시뮬레이션 로봇은 인간이 디자인한 두 단계의 커리큘럼에 따라 명령을 나타내는 언어 구와 시각 입력 및 물체 기반 동작 사이의 연관성을 배우게 된다. 두 번째 단계에서는 첫 단계에서 학습한 선행 지식을 활용하여 제한된 수의 추가적인 예시만으로 일반화 능력을 획득할 수 있다. 이 연구의 실험 결과는 제안된 모델이 학습된 동작 기술을 낯선 배치의 물체에 대해서 일반화 할 수 있음을 보여주었다. 또한 차원 축소 방법을 통해 시각화된 인공 신경세포의 활동을 분석한 결과 로봇이 한정된 경험을 통해 물체의 시각적 특징 및 동작의 동적 특성과 연관하여 언어의 구조화된 표상을 습득했음을 확인하였다.
