In human-robot interaction, classification is one of the most important problems, and it is essential particularly when the robot recognizes the surroundings and chooses a reaction based on a certain situation. Each interaction is different since new people appear or the environment changes, and the robot should be able to adapt to different situations during a brief interaction. Thus, it is imperative that the classification is performed incrementally in real time. In this sense, an online incremental classification resonance network (OICRN) is proposed to enable incremental class learning in multi-class classification with high performance online. In OICRN, a scale-preserving projection process is introduced to use the raw input vectors online without a normalization process in advance. Objects can be described in a hierarchical semantics, and people also perceive them in this way. It leads to the need for hierarchical classification in machine learning. Thus, an online incremental hierarchical classification resonance network (OIHCRN) is proposed to enable online incremental class learning in hierarchical classification. By the proposed scale-preserving projection and prior label appending process, OIHCRN reflects the class dependency between class levels and simultaneously normalizes the input vector online. To demonstrate the effectiveness of the proposed networks, experiments are carried out using benchmark datasets. To demonstrate the applicability, OIHCRN is applied to a multimedia recommendation system for digital storytelling. When a digital companion communicates with a user, meaning is delivered effectively by providing appropriate multimedia based on the conversation and the user's context. CNN-OICRN, an integrated network of the Convolutional Neural Network (CNN) for feature extraction and the OICRN for classification, is proposed for model-based online face identification and applied to a robotic system that learns human identities through human-robot interactions. It is verified that the robot can learn the identity of a new user through human-robot interaction and the newly learned knowledge can be reflected in the future interaction.
인간-로봇 상호작용(human-robot interaction)에서, 분류(classification)는 가장 중요한 문제 중 하나이고 특히 로봇이 주변을 인식하고 특정한 상황에서 반응(reaction)을 선택할 때 필요하다. 각각의 상호작용은 새로운 사람이 나타나거나 환경이 바뀜에 따라 항상 다르고, 로봇은 짧은 상호작용 동안 상황에 적응해야 한다. 즉, 분류를 위한 학습은 실시간으로 적응하고 증분하여 수행되어야 한다. 이러한 점에서 다중 클래스 분류(multi-class classification)에서 온라인으로 높은 성능을 보이며 증분 클래스 학습이 가능한 온라인 증분 분류 공명 네트워크 (online incremental classification resonance network, OICRN)를 제안한다. 제안하는 OICRN에서 사용되는 입력 벡터는 단위구 상으로 투영되어야 하므로, 벡터가 투영되더라도 크기 성분이 보존되는 크기 보존 투영(scale-preserving projection) 과정을 제안한다. 물체들은 계층적 의미론으로 묘사되며 사람들도 이러한 방법으로 물체를 인지한다. 이러한 점에서 기계 학습(machine learning)에서 계층적 분류(hierarchical classification) 기술이 필요하다. 따라서, 계층적 분류에서 온라인 증분 클래스 학습이 가능한 온라인 증분 계층적 분류 공명 네트워크 (online incremental hierarchical classification resonance network, OIHCRN)를 제안한다. OIHCRN은 계층적으로 쌓인 모듈들로 구성되고, 각각의 모듈은 OICRN으로 이루어져 있다. 클래스 계층 레벨과 각 레벨에서의 클래스 개수와 관계없이, OIHCRN은 순차적으로 주어지는 새로운 클래스에 속하는 입력 데이터들에 대해 증분적으로 학습이 가능하다. 제안하는 크기 보존 투영 및 이전 레이블 첨가(scale-preserving projection and prior label appending) 과정에 의해, OIHCRN은 클래스 레벨 간의 클래스 의존도를 반영하고 동시에 크기 성분을 보존하며 입력 벡터를 단위구 상으로 투영한다. 제안하는 네트워크들의 유효성을 검증하기 위해, 벤치마크 데이터셋들을 이용하여 실험을 수행하였다. 적용 가능성을 검증하기 위해, OIHCRN을 디지털 스토리텔링을 위한 멀티미디어 추천 시스템에 적용한다. 디지털 동반자가 사용자와 대화할 때 대화와 상황에 적절한 멀티미디어를 함께 전달함으로써 의미가 효과적으로 전달된다. 모델 기반 온라인 얼굴 신원 확인을 위해 특징 추출을 위한 합성곱 신경망(Convolutional Neural Network, CNN)과 분류를 위한 OICRN로 이루어진 통합 네트워크, CNN-OICRN을 제안하고 이를 인간-로봇 상호작용을 통해 사람의 신원을 학습하는 로봇 시스템에 적용한다. 로봇은 인간-로봇 상호작용을 통해 새로운 사용자의 신원을 학습할 수 있으며 새로 학습한 지식은 향후 상호작용에 반영될 수 있음을 확인한다.