With the recent development of artificial intelligence and robotics fields, robots can perform complex tasks such as delivery, cleaning, or daily chores, and the penetration of service robots has been rapidly growing. In particular, the demand for intelligent and interactive service robots that can understand user commands and working environments and provide services intelligently. In this paper, to implement such a robot, we propose 1) episodic memory for learning and retrieving the temporal sequence of events, 2) hand gesture recognition technology for human-robot interaction, and 3) a service robot framework as an integrated system. First, we propose Semantic Relation-Aware Episodic Memory (SR-EM) as an episodic memory for robots. Although various episodic memories have been designed based on Adaptive Resonance Theory (ART) networks, the conventional ART-based episodic memories cannot adapt the retrieved episode to the working environment. Moreover, a user should repeatedly command multiple times to receive multiple services. To tackle these limitations, we propose a clustering network, Hierarchical Clustering Resonance Network (HCRN), which can learn semantic relations among objects and design SR-EM based on it. SR-EM can perform tasks intelligently based on the semantic relations obtained by HCRN. For example, if the object requested by the user is absent from the work environment, SR-EM recommends the most similar object and provides the object instead. In addition, SR-EM can arrange multiple similar objects with a single command. Experimental results showed that HCRN achieved high clustering performance on multi-channel object data and the degree of consideration for the input channel can be controlled by users. Also, we verified that SR-EM could successfully perform services in an indoor environment through robot simulations. Second, we propose a radar-based real-time hand gesture recognition technology capable of out-of-distribution (OOD) detection for human-robot interaction. Recent radar-based hand gesture recognition methods achieve high classification accuracies using radar data processing and deep neural network-based classifiers. However, since existing methods cannot detect OOD samples, they have a fatal limitation of silently misclassifying unintended hand gestures. To overcome this problem, we propose a method that integrates radar data processing technology, a Transformer encoder-based classifier, and a relative Mahalanobis distance-based OOD detector. In the experiment, the classification and OOD detection performances of the proposed method were verified on the collected hand gesture datasets. In addition, the feasibility of the proposed system is certified through real-time demonstration. Finally, we propose a service robot framework for real service provision. The proposed framework consists of perception, episodic memory, and execution modules. A user interface that can receive user commands through a hand gesture is implemented for the perception module. The episode memory module retrieves the most similar episode based on the user command and adapts the retrieved episode to the work environment. The execution module performs the adapted tasks as a humanoid robot. Through the demonstration, it was confirmed that the service robot could understand the user commands, retrieve the task episode, and perform tasks appropriate to the work environment.
최근 인공지능과 로보틱스 분야의 발전으로 로봇은 배달, 청소, 또는 일상적인 집안일 등 복잡한 작업을 수행할 수 있게 되었고, 이에 따라 서비스 로봇의 보급률이 빠르게 증가하고 있다. 특히, 사용자의 명령과 작업 환경을 이해하고, 지능적으로 서비스를 제공할 수 있는 지능적이고 인터랙티브한 서비스 로봇에 대한 수요가 증가하고 있다. 본 논문에서는 이러한 로봇을 구현하기 위해 1) 작업의 순서를 학습 및 회상하기 위한 일화 기억, 2) 인간-로봇 상호작용을 위한 손 동작 인식 기술, 그리고 3) 통합 시스템인 서비스 로봇 프레임워크를 제안한다. 먼저, 본 논문에서는 로봇의 일화 기억으로, Semantic Relation-Aware Episodic Memory (SR-EM)을 제안한다. 다양한 일화 기억들이 Adaptive Resonance Theory (ART) 네트워크를 기반으로 설계되었지만, 전통적인 ART 기반 일화 기억은 회상한 일화를 작업 환경에 적용할 수 없다. 게다가, 여러 서비스를 제공받기 위해서 사용자는 반복적으로 명령을 내려야한다. 이러한 한계를 극복하기 위해, 물체 사이의 의미 관계를 학습할 수 있는 군집화 네트워크, Hierarchical Clustering Resonance Network (HCRN)을 제안하고, 이를 기반으로 SR-EM을 설계한다. SR-EM은 HCRN으로 구한 의미 관계를 기반으로 지능적으로 작업을 수행할 수 있다. 예를 들면, 사용자가 요청한 물체가 작업 환경에 없을 경우, SR-EM은 가장 유사한 물체를 추천하고, 이 물체를 대신 제공할 수 있다. 또한 SR-EM은 한 번의 명령으로 비슷한 여러 물체를 정리할 수 있다. 실험 결과, HCRN은 다중-채널 물체 데이터에서 높은 군집화 성능을 보였으며, 사용자가 입력 채널의 고려도를 설정할 수 있음을 검증하였다. 또한, 로봇 시뮬레이션을 통해 SR-EM이 실내 환경에서 성공적으로 서비스를 수행할 수 있음을 검증하였다. 두 번째로, 본 논문에서는 인간-로봇 상호작용을 위해 분포 외 검출이 가능한 레이더 기반 실시간 손 동작 인식 기술을 제안한다. 최근 레이더 기반 손 동작 인식 기술은 레이더 데이터 처리와 심층 신경망 기반 분류기를 통해 높은 정확도를 달성하였다. 하지만, 기존 방법들은 분포외 샘플을 검출할 수 없기 때문에, 의도하지 않은 손 동작을 조용히 오분류하는 치명적인 한계점이 있다. 이러한 문제를 해결하기 위해 우리는 레이더 데이터 처리 기술, Transformer encoder 기반의 분류기, 그리고 relative Mahalanobis 거리 기반의 분포 외 검출기를 통합하는 방법을 제안한다. 실험에서, 직접 수집한 손 동작 데이터를 통해 제안하는 방법의 분류 성능과 분포외 검출 성능을 검증하였다. 또한, 실시간 시연을 통해 제안하는 방법의 타당성을 검증하였다. 마지막으로, 실제 서비스 제공을 위해 서비스 로봇 프레임워크를 제안한다. 제안하는 프레임워크는 인식 모듈, 일화 기억 모듈, 그리고 수행 모듈로 구성된다. 인식 모듈을 위해 사용자의 명령을 손 동작으로 입력 받을 수 있는 사용자 인터페이스를 구현하였다. 일화 기억 모듈은 사용자의 명령을 기반으로 가장 유사한 일화를 회상하고, 회상한 일화를 작업 환경에 적용한다. 수행 모듈은 휴머노이드 로봇으로 회상한 작업을 수행한다. 시연을 통해 서비스 로봇이 사용자의 명령을 이해하고, 작업의 순서를 회상하고, 작업 환경에 적절한 작업을 수행할 수 있음을 확인하였다.
