서지주요정보
Human-Robot full-sentence VQA interaction system with highway memory network = Highway memory network를 이용한 완전한 문장의 인간-로봇 시각 질의응답 상호작용 시스템
서명 / 저자 Human-Robot full-sentence VQA interaction system with highway memory network = Highway memory network를 이용한 완전한 문장의 인간-로봇 시각 질의응답 상호작용 시스템 / Sanghyun Cho.
저자명 Cho, Sanghyun ; 조상현
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8031867

소장위치/청구기호

학술문화관(문화관) 보존서고

MRE 18006

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

One of the major functions of intelligent robots such as social or home service robots is to interact with users in natural language. Moving on from simple conversation or retrieval of data stored in computer memory, we present a new Human-Robot Interaction (HRI) system which can understand and reason over environment around the user and provide information about it in a natural language. For its intelligent interaction, we developed a deep learning network model based on Dynamic Memory Networks (DMN), a deep learning network for Visual Question Answering (VQA), and proposed Highway Memory Network (HMN) and Full-Sentence Highway Memory Network (FSHMN). For its hardware, we built a robotic head platform with a tablet PC and a 3 DOF neck. Through an experiment where the user and the robot had question answering interaction in our customized environment and in real time, the feasibility our proposed system was validated, and the e ectiveness of deep learning application in real world as well as a new insight on human robot interaction was demonstrated.

소셜 또는 홈 서비스 로봇과 같은 지능형 로봇의 주요 기능 중 하나는 자연 언어로 사용자와 상호 작용하는 것입니다. 간단한 대화 또는 컴퓨터 메모리에 저장된 데이터를 찾는것에서 더 나아가 사용자 주위의 환경을 이해하고 추론하며, 자연어로 정보를 제공 할 수있는 새로운 HRI (Human-Robot Interaction) 시스템을 제안합니다. 지능적 상호 작용을 위해 우리는 시각적 질문 응답 (VQA)을 위한 심층 학습 네트워크인 Dynamic Memory Network (DMN)를 기반으로 개발된 Highway Memory Network (HMN) 및 Full-Sentence Highway Memory Network (FSHMN)를 제안합니다. 또한 태블릿 PC와 3 자유도 목으로 구성된 로봇 헤드 플랫폼을 제작했습니다. 사용자와 로봇이 사용자 정의 된 환경에서 실시간으로 질의 응답 상호 작용을하는 실험을 통해 제안 된 시스템의 가능성과 실생활에서의 심층 학습 적용의 효용성 및 새로운 형태의 인간 로봇 상호작용을 제시합니다.

서지기타정보

서지기타정보
청구기호 {MRE 18006
형태사항 iv, 32 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 조상현
지도교수의 영문표기 : Jong-Hwan Kim
지도교수의 한글표기 : 김종환
학위논문 학위논문(석사) - 한국과학기술원 : 로봇공학학제전공,
서지주기 References : p. 29-30
주제 Human-Robot Interaction (HRI)
Visual Question Answering
인간로봇상호작용
시각질의응답
로봇
심층학습
자연어처리
QR CODE qr code