The wheelchair-based robotic arm system, which is one of rehabilitation robotic systems, consists of a powered wheelchair and a robotic arm. It has not only a mobile capability through the motorized wheelchair but also a manipulatory function with the robotic arm. Since a user and a robot are in the same environment, safe and comfortable interaction with the robots is important. It has been reported that many difficulties exist in human-robot interactions in existing rehabilitation robots. For example, manual control of the robotic arm takes a high cognitive load on the user part while physically disabled persons may have difficulties in operating joysticks dexterously or pushing buttons for delicate movements. Human-robot interaction is one of essential technologies to be developed in using the robotic system. Two factors are essential in intelligent human-robot interaction technology: one is autonomous capability of the robot, and the other is intention reading capability of the user. These factors are dealt with in the framework of visual servoing of the robotic arm.
Visual servoing is often introduced to control the pose, i.e., the position and orientation, of the end-effector of a robotic arm relative to a target using visual feedback. According to the careful analysis of predefined tasks of the wheelchair-based robotic arm, we construct the essential scenario of visual servoing, which is serving a beverage to a user including approaching the user`s face. The overall problem in our study can be described as follows: Given image sequences taken by the camera(s) of an eye-in-hand camera configuration, find the effective visual information of a single static or moving target to control the robotic arm in real-time. Specifically, visual servoing of a wheelchair-based robotic arm system usually renders many difficulties: to mention a few, it is difficult to process visual information in real-time, to be robust for varying illumination, and to process data under vibration of a robotic arm. Among these difficulties, we concentrate on the real-time visual servoing by means of effective image reduction according to the situation of a task. To guarantee intelligent visual servoing, the decision-maker adopts the fuzzy logic theory to select proper image mappings in view of algorithm, and the user`s intention reading is adopted in order to improve the user`s safety in view of application.
First, space variant vision is adopted to obtain effective visual information of visual servoing. Most of all, space variant vision stems from biological vision systems and usually handles non-uniformly sampled images. Space variant vision, which has higher attention on the interesting regions in images, supplies well-defined images, and thus space variant vision allows the vision system to process visual information effectively in real-time. According to the analysis of the log-polar mapping, which is a well-known space variant vision technique, and camera configurations, a small lightweight hand-held binocular camera head that has vergence movements is proposed and implemented. In addition, image features in visual servoing are analyzed through condition numbers and global performance index.
Second, the modified log-polar mapping to handle a nearby moving target and the fuzzy decision-maker to select appropriate image mappings are proposed in visual servoing. In space variant vision, the interesting part of images should have higher attention. The central region of conventional log-polar images is more important than other regions; however, the periphery is more valuable in order to detect the motion and to track a target while a nearby target is moving. Hence, we propose the modified log-polar mapping, which has less weight in the central region to decrease too redundancy. Given the photoreceptors, which consist of cones and rods, of a human eye, the conventional log-polar mapping has the similar distribution of cones; however, the modified log-polar mapping is similar to the distribution of rods. In addition, visual processing for visual servoing needs proper attributes of images, such as image size, image resolution, and image coordinates. In order to choose the suitable image mapping for the situation of a performing task, the fuzzy decision-maker is proposed. The fuzzy logic theory can provide tolerance for uncertainty and imprecision of visual information. The proposed fuzzy decision-maker is used to choose proper mappings among the conventional log-polar mapping, the modified log-polar mapping, and the uniformly sub-sampled mapping, and thus the visual information of visual servoing is effectively obtained in accordance with the situation of a task.
Finally, the framework for intelligent visual servoing using space variant vision is applied to the wheelchair-based robotic arm system KARES II (KAIST Rehabilitation Engineering Service System II) in order to assist physically disabled people and old people. According to experiments, the proposed fuzzy decision-maker shows effectiveness for moving the user`s face. The visual servoing for the user`s face is a kind of human-in-the-loop system, and the user`s intention, which is read through the user`s mouth openness, improves the user`s safety in this visual servoing loop. The defined task of visual servoing is successfully performed in an intelligent manner.
비쥬얼 서보잉은 목표물과의 직접적인 접촉 없이 시각 귀환을 이용하여 목표물에 대한 로봇 팔의 말단부의 자세를 제어 한다. 실제 환경에서 로봇 팔이 다루어야 할 목표물에 대한 현재 위치를 정확히 알기 어렵고 위치도 자주 바뀌므로 시각 귀환은 절실히 필요하다. 특히, 인간과 로봇이 같은 공간에 공존하며 인간을 돕는 비 제조용 로봇인 서비스 로봇은 비쥬얼 서보잉 기술의 적용이 필요한 대표적인 시스템이며, 서비스 로봇에는 휠체어 로봇과 같은 재활 로봇이 포함된다. 현존하는 재활 로봇은 간단한 작업이라 할지라도 수 많은 버튼과 조이스틱의 조작이 필요하다는 어려움이 보고된 바 있으며, 이러한 점은 재활 로봇의 큰 걸림돌 중의 하나로 여겨 지고 있다. 재활 로봇에 있어서 로봇 팔의 자율 제어 능력과 사용자의 의도 파악 능력은 지능적인 인간-로봇 상호작용의 핵심적인 요소이다.
지능형 비쥬얼 서보잉으로 정의된 작업을 자율적으로 수행하며, 이를 휠체어 로봇 팔 시스템에 응용하였다. 비쥬얼 서보잉에 대한 연구는 제어 관점의 연구와 시각 처리 관점의 연구로 나눌 수 있으며, 본 논문에서는 시각 처리를 중점적으로 다루었다. 비쥬얼 서보잉 관점에서 휠체어 로봇 팔 시스템의 정의된 작업의 분석을 통하여, 사용자의 얼굴에 접근하는 세부 작업을 포함하는 식사 보조 작업을 비쥬얼 서보잉의 핵심 작업으로 정하였다. 구체적으로 카메라가 로봇의 말단부에 장착되는 아이-인-핸드 카메라에 의하여 얻어진 영상에 대하여, 로봇 팔을 실시간으로 제어할 수 있도록 효율적으로 시각 정보를 처리하는 문제를 다루었다. 휠체어 기반 로봇 팔 시스템은 실시간 시각 처리, 로봇 팔의 기저의 흔들림 및 조명의 변화에 대한 대처 능력이 필요하며, 본 논문에서는 효율적인 영상 축소를 통한 실시간 시각 처리를 주로 다루었다. 지능형 비쥬얼 서보잉을 위하여 알고리즘 측면에서 퍼지 논리 이론을 바탕으로 적절한 영상 사상을 선택하기 위한 의사 추론기가 제안 되었으며, 적용 측면에서 사용자의 안전성을 향상 시키기 위한 사용자 의도 파악 기능이 제안 되었다. 구체적인 연구 내용은 다음과 같다.
첫째, 비쥬얼 서보잉에서 효과적인 시각 처리를 위해 공간 변화 비전을 적용하였다. 공간 변화 비전은 생물의 시각 시스템과 유사하며 균일하지 않은 영상 샘플링 기법을 이용하는데, 영상에 있어서 관심을 끄는 영역에 높은 주의를 집중 시키므로 상대적으로 작은 크기의 영상으로 시각 정보를 효율적으로 다룰 수 있다. 잘 알려진 공간 변화 비전 기법으로 로그-폴라 사상이 있으며, 이를 휠체어 로봇 팔 시스템에서 아이-인-핸드 카메라 배치를 고려하여 해석하였다. 이 결과로 로봇 팔 끝에 부착할 수 있는 가볍고 작으면서 이접 운동이 가능한 양안 카메라 헤드를 제안하고 구현 하였다. 또한, 비쥬얼 서보잉 관점에서 로그-폴라 사상에서의 특징을 해석하였다.
둘째, 적절한 영상 사상을 선택하기 위하여 퍼지 의사 추론기를 제안 하였다. 퍼지 논리 이론은 시각정보의 불확실성과 부정확성에 대하여 내성을 제공할 수 있으며, 작업 상황에 따라서 시각 정보를 적절하게 다룰 수 있는 영상 사상을 선택하는 데 이용되었다. 아이-인-핸드 카메라를 통한 비쥬얼 서보잉에서 매우 가까이 있는 움직이는 목표물을 효율적으로 다루기 위해 변형된 로그-폴라 사상을 제안 하였다. 기존의 로그-폴라 사상은 인간 눈의 망막에 있는 광 수용기 중에서 원추체의 분포와 유사한 반면에 변형된 로그-폴라 사상은 망막의 광 수용기 중에서 간상체의 분포와 유사하다. 퍼지 의사 추론기는 미리 얻어진 규칙을 바탕으로 로그-폴라 영상, 변형된 로그-폴라 영상, 그리고 균일하게 샘플링 된 영상 정보를 효율적으로 선택하는데 사용되었다.
마지막으로, 공간 변화 비전을 이용한 지능형 비쥬얼 서보잉은 지체 장애인과 고령자를 돕기 위한 새로운 휠체어 로봇 팔 시스템 KARES II(KAIST Rehabilitation Engineering Service System II)에 적용되었다. 제안된 퍼지 의사 추론기를 통해서 적절한 영상 사상을 선택하여 카메라 가까이서 움직이는 사용자의 얼굴과 같은 목표물에 대하여 효과적으로 시각 정보를 얻을 수 있음을 보였다. 추가적으로, 사용자 얼굴에 대한 비쥬얼 서보잉은 사람이 제어 시스템 내의 존재하는 형태이며, 향상된 인간-로봇 상호작용을 위해서 사용자의 입 모양의 벌림 정도를 이용한 간단하지만 효과적인 의도 파악 방법을 제안 하였다. 이를 바탕으로 사용자 얼굴에 로봇 팔의 접근 작업이 성공적으로 수행되었다. 공간 변화 비전을 이용한 비쥬얼 서보잉 기술은 기존의 방법에 비하여 작고 저렴한 하드웨어 장치로 구현이 가능할 것으로 기대된다.