This paper focuses on the structural methodology for the cognitive developmental model of an intelligent robot. Considering the functionalities and domains of an intelligent robot, it is an undoubted truth that an intelligent robot should be developed on the basis of a human-like cognition. In the multilayered architecture that is a common framework for an intelligent robot, the spatial and temporal relationships among the lower-level states represent or are mapped into the higher-level states, which is similar to human’s cognitive model.
For the developmental cognition, this paper focused on the appropriate state space that is extended spatially and temporally for each layer, which corresponds to the learning on the learned state space, sequential subtask decomposition, and state value estimation of sensed inputs, as an extension of reinforcement learning. An intelligent robot is confronted with the difficulties of learning from sensory space to high-level state. Each part has been developed for its own way by more sophisticated method. However, how to organize and integrate overall areas is still being questionable.
Robot learning has been focused on its own characteristics about adaptedness. The conventional approaches are modeled to represent a given environment by state spaces through modality-based recognition modules. Thus, high-level states for robotic cognition depend on how to design state representation process. Instead of well-organized state space, this paper pursuits how to lay the learning on the learned by how to extend reinforcement learning that is more suitable for robotic cognition. The results are still far from the ultimate goal, however it is expected that the proposed methods contributes to present another ways for cognitive developments.
본 논문은 인지적 발달이 가능한 로봇의 구조적인 방법론을 목표로 하고 있다. 지능로봇의 기능적 요소와 그 사용 영역을 고려할 때, 지능 로봇은 인간과 유사한 인지적 특성을 기초로 하여 개발되어야 함은 의심할 여지가 없다. 지능 로봇 개발에 있어서 보편적인 프레임 워크인 다 계층 구조를 기반으로 하여, 공간적 및 시간적 관계를 가진 하위 계층 상태량을 토대로, 인간의 인지 모델과 유사한 방식으로 상위 계층의 상태량을 표상하고자 한다.
이 논문에서는, 인지 발달을 위하여 각각의 계층을 공간적 및 시간적으로 확장하고 이를 바탕으로, 학습된 상태 공간에 대한 학습과 순차적인 하위 태스크로의 분해 및 센서 입력에 대한 상태값 추정을 통해 강화 학습을 확장하고자 한다. 이 세가지 주제를 바탕으로 한 본 연구를 통해 로봇의 인지 강화에 적합한 상태 공간 모델을 기대할 수 있다.
1장에서는, 기존의 지능 로봇연구에 있어서의 어려움과 인지 발달 로봇을 통한 지능 로봇 연구에 초점을 맞추었다. 인지 발달이란 인간에게 보편적인 과정을 로봇이라는 새로운 개체에 도입하기 위한 부분을 소개하고 있다.
2 장에서는, 인간의 인지 발달 과정과 유사한 방식으로 구성된 다 계층 구조의 강화 학습을 소개하고 있다. 일반적인 강화 학습의 경우, 단일 목적을 위해 상태 함수가 분포되는데, 좀더 복잡한 문제에의 적용을 위하여, 하위 구조에서 학습된 상태함수를 가지고 상위 구조의 학습 문제에 적용하고자 한다. 다 계층 구조하에서, 하위 학습을 통해 형성된 다 차원의 Q 학습 결과 값은, 상위 학습 공간에서의 새로운 상태공간이 될 수 있다. 이러한 다 계층 구조를 위한 각 계층의 입력 공간으로써 하위 학습에서 형성된 Q 값을 사용함으로써, 상 하위 각 계층간의 학습에 따른 계층적 분화를 목표로 하고 있다. 이러한 Q 값의 분포는, 로그 기반 양자화를 통해 상위 학습에 적합한 상태 공간으로 맵핑할 수 있다. 제안한 Q 공간은, 주위 환경의 하위 구조에 따라 주어진 상태 공간과 다른 차원으로 맵핑된다. 하위 구조 학습의 결과를 이용하는 방식에 따라, 주어진 하위 계층의 Q 값은 다양한 상태로 프로젝션되며 이는 랜드마크 기반의 경로 추종 방식과 유사하게 주어진 상태 공간의 차원을 축소시키는 장점이 있다. 이에 대한 분석과 예를 소개하고 있다.
3 장에서는, 2장에서 언급된 다 계층 구조하에서의 학습을 위해 리턴 값을 이용한 공간 확장을 시도하고 있다. 상위 구조에서의 최종적인 태스크는, 하위 구조에서의 개별적인 학습에 의한 보조 태스크로 분리 될 수 있다. 이러한 보조 태스크로의 분리를 제안한 계층 구조에 적합하게 진행 될 수 있도록 리턴을 사용하여 공간을 확장하는 모델을 제안하고 있다. 이러한 방식에 따라, 지능 로봇의 태스크 계획에 적합한 비마코프 및 비 에피소딕 문제에 적용하였다. 이는 특정 물체를 가지고 이동하는 서비스 로봇의 태스크와 같은 문제에 적용할 경우에, 시간의 흐름에 따른 복잡한 문제에 손쉽게 적용이 가능하다. 또한 비 결정적인 방식에 의해 태스크가 조합되는 경우에 대한 사례를 통해, 로봇 시스템과 같이 현실적인 공간에서의 태스크 분리 문제에 적용 가능함을 보이고 있다.
4 장에서는, 제안한 Q-R 두가지의 확장 공간에 센서 기반의 강화 학습을 접목하고자 하였다. 로봇의 다양한 모달 정보에 따른 다양한 센서는 물리적 성격에 따라 매우 복잡한 성격을 갖기 때문에 일반화가 매우 어렵다. 이에 따라, 다 계층 구조에 대한 각 센서 공간의 정보를 맵핑하는 방식을 제안하고, 이를 통해 관측된 센서 공간에 대한 강화 학습 및 제안한 2, 3장의 상위 학습과 연계되는 방식을 제안하고 있다. 센서 공간에 대한 기존 연구의 연장선에서, 관측된 센서 정보의 과거 근접 정보를 kNN 방식으로 추종하고, 이를 푸아송 함수를 통해 추정하는 방식을 제안하고 있다. 이러한 방식은, kNN 방식을 사용함에 따라 다 차원의 넓은 센서 공간에 적합성을 보이며, 또한 기존의 지능 로봇에서 사용되고 있는 인식 과정을 모사할 수 있다.
5 장에서는, 제안한 Q-R 두가지 확장 공간에 대한 문제들을 다루고 있다. 본 논문에서 제안하는 로봇의 인지 발달 과정을 위해, 제안된 방법론들을 어떻게 통합하여 처리할 것이며 또한 이를 통한 확장 가능성에 대해 언급하고 있다. 로봇의 인지 발달 과정을 위해 각 계층별 강화 학습과 제안한 확장 상태 공간을 통해 좀더 복잡한 인지 과정에의 적용 가능성을 내포하고 있다. 제안한 방식을 통해 얼굴의 인지적 학습에 대한 부분과 강화 학습의 내재적 보상 기법과의 비교 내용을 다루고 있다. 제안한 Q 확장 공간이 갖는 오차에 대한 강인성을 비교하고, Q-R 두 가지 확장 공간을 통해 향후 인지적 발달 로봇에 대한 프레임 워크의 개발에 대해 최종적으로 언급하고 있다.
