Robots have been expected to do various troublesome or hard works for humans. Since these human-scale tasks consist of sequential procedures, a memory structure storing the sequences effectively is essential for robots to perform tasks. In this paper, we propose the new memory structure, called Deep ART, to learn time sequential events of the tasks from user's demonstration. After learning the tasks, it can retrieve a proper episode related with the current situation from the image input. In contrast with previous memory models, the retrieval process is more robust from noisy inputs or partial cues since its different encoding and decoding processes. Moreover, a cognitive architecture based on Deep ART is designed for robots to perform tasks in the human environment. Our proposed architecture has the perception module of which the function is image and voice recognition, and the episode inference module that enables robots to infer the appropriate episodes from user's natural language commands. The experimental results show the effectiveness of our architecture in terms of learning and executing tasks, and our robot successfully completed multiple tasks related with user's voice command.
본 논문에서는 Deep ART 메모리 기반의 인지 아키텍처를 제안한다. 이 알고리즘은 로봇이 일상환경에서 사람의 시연으로부터 작업 순서를 배우고 Deep ART 메모리에 저장해두었다가, 사람이 작업 명령을 내리거나 특정 물체를 보았을 때 학습한 일화들 중 적절한 작업을 추론 및 복원할 수 있도록 해주는 알고리즘이다.
제안한 인지 구조는 여러 모듈로 구성되어 있다. 먼저 인지 모듈은 총 두 가지의 입력을 받을 수 있는데, 하나는 카메라 영상을 입력으로 받아 물체 및 행동 인식을 수행한다. 이때 사용된 센서는 로봇 얼굴에 장착된 RGB-D 카메라와 열상 센서가 사용된다. 다른 하나는 사용자로부터 음성 명령을 입력으로 받아 음성인식 및 단어 추출 기능을 수행한다. 사용자는 핸드폰 어플리케이션으로 제작된 음성인식 앱에 음성으로 명령을 전달하면, 어플리케이션은 Google Speech API 를 사용하여 음성을 인식하고, Stanford NLP Library로 문장을 분석하여 품사 분할을 수행한다. 다음 로봇에게 XML type으로 정보를 전달하면, pugi XML Library를 사용하여 XML message로부터 정보를 획득한다.
다음은 추론 모듈이 있는데, 모듈 내부의 유사도 비교 알고리즘을 통해 이미 학습된 작업들과 사용자 음성 명령간의 유사도를 계산한다. 먼저 문장 내 단어들을 검색하여 같은 품사들의 유사도를 계산한다. 영단어 데이터베이스인 WordNet과 WordNet::Similarity Library를 기반으로 단어간 유사도를 계산할 수 있다. 하지만 두 비교 문장은 항상 같은 품사들을 갖지 않으므로, 이럴 경우 같은 품사로 비교를 하기 위해 단어의 뜻을 참조하여 같은 품사를 가진 단어들을 추출한다. 추출된 단어들을 가지고 모든 단어간 비교를 마치면 유사도의 평균으로 문장 간 유사도를 계산한다. 이 방법은 같은 품사 내에서의 비교가 더욱 정확한 유사도 비교 결과를 내기 때문에 필요하다.
마지막으로 메모리 모듈은 본 논문에서 새롭게 제안한 Deep ART를 기반으로 설계되었다. Deep ART는 기존 EM-ART를 기반으로 설계된 자율인공신경망의 일종으로, 최하위 단에서는 행동과 물체들의 의미정보를 입력으로 받아들인다. 각 물체들은 색깔, 모양, 물체 사이의 관계 등으로 구분될 수 있는데, 이러한 정보를 입력으로 받아서 상위 층에 저장한다. 또한 기존 메모리 모델과는 다르게, 사건들의 시간 순서를 학습할 때 각 사건들의 시간적 변화를 학습한다. 이는 하나의 일화에 중복된 사건들이 포함되더라도 학습 후에 순서를 완벽하게 재현해낼 수 있다. 만약 입력된 정보가 극히 일부일 경우라 해도, Deep ART는 재현 오류 없이 효과적으로 기억해 낸다. 이는 보완 코드의 문제점을 분석한 결과라 하겠다.
실험에서는 본 연구실에서 제작한 Mybot KSR-2 로봇을 통해 알고리즘을 검증하였다. 로봇은 물체를 보거나 사용자가 음성으로 명령을 내렸을 때, 이미 학습한 결과들 중에서 적절한 일화를 추측한 후 각각의 작업 순서를 성공적으로 수행하였다. 향후 과제로는, 본 아키텍처에는 작업 계획기가 부재하므로 작업 계획 모듈을 추가하여 메모리와 작업 계획 모듈 사이의 적절한 정보 교류를 통해 다양한 환경에서 로봇이 작업을 수행할 수 있도록 할 예정이다. 또한 학습한 사건 및 일화들은 유사한 문장 패턴을 갖는 것이 많다. 이러한 문장들은 일반화 과정을 통해서 메모리를 더욱 효율적으로 사용할 수 있어야 할 것이다. 마지막으로, 로봇이 더욱 다양한 환경에서 작업을 수행하려면 작업 환경에 대한 정보를 축적할 수 있어야 하는데, 이 또한 향후 과제로서 고려할 예정이다.
