Service robotics is currently a pivotal research area in robotics, with enormous social potential. Since service robots directly interact with people, finding natural and intuitive interfaces is of fundamental importance. While past work has predominately focused on issues such as navigation and manipulation, relatively few robotic systems are equipped with flexible user interfaces that permit controlling the robot by "natural" means.
A visual gesture interface was developed for human-robot interaction through this thesis, and tested on service robot AMI in real environment. The interaction model combining speech and gesture was designed first. Following this interaction model, a fast and robust active face detection algorithm enables robot to track operator's face reliably. Next, a hand tracker combining skin color detection and motion segmentation is to extract the centroid of operator's hand from input image sequence. The 2D hand trajectory input to neural network for gesture classification. Finally, the recognized gesture is interpreted into control signal to enable the robot to perform desired actions.
Through the experiments, we investigate three basic features, including location, angle, and velocity, for gesture recognition. The results show that the system we proposed could tackle complex background, variable lighting condition, and different person. Furthermore, 96.32% recognition rate was achieved reliably in real-time.
현재 서비스 로봇은 로봇 분야에서 커다란 사회적 잠재력을 가진 가장 중추적인 연구 분야이다. 서비스 로봇은 사람과 직접적인 상호작용을 하기 때문에, 자연스럽고 직관적인 인터페이스를 구현하는 것이 가장 중요한 부분이다. 기존의 연구는 주로 로봇의 항해나 조정과 같은 기능에 중점을 두었지만, 상대적으로 “자연스러운” 수단에 의해 로봇을 컨트롤하는 다루기 쉬운 인터페이스를 장착한 로봇 시스템이 거의 없었다.
본 논문에서는 인간과 로봇의 상호 작용에 사용하기 위해 시각정보를 이용한 제스쳐 인터페이스를 개발하였고, 실제로 휴먼 로봇 AMI에 적용하여 테스트 하였다. 일단 상호작용 모델은 음성과 제스쳐가 함께 디자인 되었다. 그리고 빠르고 안정적인 실시간 얼굴 검출 알고리즘은 사용자의 얼굴을 정확하게 따라가게 하였다. 손 부분의 추적은 피부색을 이용한 검출과 움직임을 이용하였고, 이를 이용하여 연속된 입력 이미지로부터 사용자의 손의 중심을 추출하였다. 제스쳐 구분을 위해2차원 손의 자취는 신경망의 입력으로 사용되었다. 마지막으로 인식된 제츠쳐를 통해 서비스 로봇은 적합한 행동을 수행하도록 제어 신호를 받는다.
우리는 제스쳐 인식을 위해 기본적인 세가지 특징, 위치, 각도, 그리고 속도에 관하여 실험을 통해 연구 하였다. 우리가 제안한 시스템은 배경이 복잡하거나, 다양한 조명 상태, 그리고 다른 사람들이 있는 환경에서도 잘 작동 된다는 것을 보였다. 게다가 96.32%의 인식률은 실시간으로 안정되게 수행되었다.
