One of the major functions of intelligent robots such as social or home service robots is to interact with users in natural language. Moving on from simple conversation or retrieval of data stored in computer memory, we present a new Human-Robot Interaction (HRI) system which can understand and reason over environment around the user and provide information about it in a natural language. For its intelligent interaction, we developed a deep learning network model based on Dynamic Memory Networks (DMN), a deep learning network for Visual Question Answering (VQA), and proposed Highway Memory Network (HMN) and Full-Sentence Highway Memory Network (FSHMN). For its hardware, we built a robotic head platform with a tablet PC and a 3 DOF neck. Through an experiment where the user and the robot had question answering interaction in our customized environment and in real time, the feasibility our proposed system was validated, and the e ectiveness of deep learning application in real world as well as a new insight on human robot interaction was demonstrated.
소셜 또는 홈 서비스 로봇과 같은 지능형 로봇의 주요 기능 중 하나는 자연 언어로 사용자와 상호 작용하는 것입니다. 간단한 대화 또는 컴퓨터 메모리에 저장된 데이터를 찾는것에서 더 나아가 사용자 주위의 환경을 이해하고 추론하며, 자연어로 정보를 제공 할 수있는 새로운 HRI (Human-Robot Interaction) 시스템을 제안합니다. 지능적 상호 작용을 위해 우리는 시각적 질문 응답 (VQA)을 위한 심층 학습 네트워크인 Dynamic Memory Network (DMN)를 기반으로 개발된 Highway Memory Network (HMN) 및 Full-Sentence Highway Memory Network (FSHMN)를 제안합니다. 또한 태블릿 PC와 3 자유도 목으로 구성된 로봇 헤드 플랫폼을 제작했습니다. 사용자와 로봇이 사용자 정의 된 환경에서 실시간으로 질의 응답 상호 작용을하는 실험을 통해 제안 된 시스템의 가능성과 실생활에서의 심층 학습 적용의 효용성 및 새로운 형태의 인간 로봇 상호작용을 제시합니다.
