During the last few decades, as part of e？orts to enhance natural human robot interaction (HRI), considerable research has been carried out to develop human-like gaze control. However, most studies did not consider hardware implementation, real-time processing, and the real environment, factors that should be taken into account to achieve natural HRI. This paper proposes a fuzzy integral-based gaze control algorithm, operating in real-time and the real environment, for a robotic head. We formulate the gaze control as a multicriteria decision making (MCDM) problem and devise seven human gaze-inspired criteria. Partial evaluations of all candidate gaze directions are carried out with respect to the seven criteria de？ned from perceived visual, auditory, and internal inputs, and fuzzy measures are assigned to a power set of the criteria to re？ect the user de？ned preference. A fuzzy integral of the partial evaluations with respect to the fuzzy measures is employed to make global evaluations of all candidate gaze directions. The global evaluation values are used to decide the final gaze direction with inhibition of return (IOR) and priming. The e？ectiveness of the proposed algorithm is demonstrated with a robotic head, developed in the Robot Intelligence Technology (RIT) laboratory at KAIST. The proposed algorithm should be compared with real human eye tracking data. Conventional research focused on evaluating each point in visual information to predict where humans usually pay attention to based on a large consistency of human gaze. However, humans produce various scanpaths even from the same visual information because gaze is a cognitive process including the preferences of the human gaze. Thus, the fuzzy integral-based gaze control algorithm is expanded to an evolutionary fuzzy integral-based gaze control algorithm. It produces various scanpaths according to preference of human gaze. The fuzzy integral-based gaze control algorithm is used to produce scanpaths. The produced scanpath is transformed into a ？xation map and compared with a scanpath obtained from a human subject by the earth mover’s distance (EMD). Based on the comparison, quantum-inspired evolutionary algorithm (QEA) gradually develops preference of human gaze and adjusts the gaze control algorithm to produce a scanpath similar to the human scanpath. The effectiveness of the proposed algorithm is demonstrated by comparing a human scanpath with a scanpath produced from the algorithm using the developed characteristics in other images. Lastly, when there is a task, human gaze shows a task-oriented gaze control with a large consistency. In this case, gaze is used for information acquisition, not information representation. These two roles are important when they cooperate with humans. This paper proposes the hierarchical temporal memory (HTM)-based gaze control algorithm in human robot cooperation. Robots can remember procedural memory of tasks and know when they interact with humans with the HTM. From the perceived envi- ronment, robots produce tasks with procedural memory using the HTM. Then, robots generate their movements with a sampling-based algorithm to perform the task. In each event of the procedural mem- ory, their gaze is also changed simultaneously to acquire information they need for the successful tasks. When humans interrupt the tasks or there is an inability of robots for the tasks, robots control their gaze to interact with humans. The e？ectiveness of the proposed algorithm is demonstrated by with Mybot-KSR2, developed in the RIT Lab. at KAIST.
지난 수 십 년 간, 인간 로봇 상호작용(HRI)를 발전시키기 위해 많은 연구들이 진행되었다. 그 중에서 시선 제어를 살펴보면, 사람이 어디에 집중하는지를 명확히 나타내는 수단으로써 꾸준히 연구가 되고 있 다. 그러나 대부분의 연구들이 자연스러운 인간 로봇 상호작용에서 중요한 요소인 하드웨어 구현, 실시간 처리, 실제 환경 등을 고려하지 않았다. 이 논문에서는 얼굴로봇을 위한 실시간 퍼지 적분(Fuzzy integral) 기반의 시선 제어 알고리즘을 제안한다. 우리는 시선 제어 문제를 다기준 의사결정의 문제(Multi-Criteria Decision Making, MCDM)로 바꾸고 사람 시선에 영향을 주는 7개 기준(criteria)을 설정하여 퍼지 척도 (Fuzzy measure) 와 퍼지 적분을 통해 접근하였다. 로봇은 모든 시선의 후보군에 대해서 7개 기준을 이용 하여 부분 평가(Partial evaluation)를 수행한다. 동시에 사용자가 정의한 선호도(Preference)에 기반하여 퍼지 척도를 7개 기준의 멱집합에 할당한다. 부분 평가값과 퍼지 척도값을 토대로 모든 시선의 후보군들에 대한 전체 평가(Global evaluation)를 퍼지 적분을 통해 수행한다. 전체 평가값은 회귀 억제(Inhibition of return)과 점화(Priming)를 거쳐서 최종적인 시선의 방향을 결정하는데 사용이 된다. 제안한 알고리즘은 KAIST의 Robot Intelligence Technology 연구실에서 개발한 얼굴로봇을 통해 검증하였다.
몇몇 알고리즘은 저자들이 제안한 상황에서는 사람과 유사하게 움직이지만 때로는 사람의 시선과 완전 히 다르게 움직이는 경우도 있다. 위의 제안한 알고리즘은 실제 사람의 시선과 비교가 되어야 한다. 기존의 사람 시선과의 비교를 살펴보면, 사람들 시선의 높은 통일성에 기반하여 사람들이 어디를 볼지 예측을 하였 었다. 그러나 사람의 시선 제어는 복잡한 인지과정의 결과로 사람들은 동일한 그림에서 각기 다른 시선을 만들어 낸다. 이 논문에서는 위에서 제시한 퍼지 적분 기반의 시선 제어 알고리즘을 진화 퍼지 적분 기반의 시선 제어 알고리즘으로 확장하여 선호도를 반영, 사람 개개인의 시선과 유사한 시선을 생성해 보았다. 퍼지 적분 기반의 시선 제어 알고리즘은 사진으로부터 반복적인 선택을 통해 경로(scanpath)를 생성한다. 생성 한 경로는 가우시안 분포(Gaussian distribution)를 이용하여 고정맵(Fixation map)으로 변환되고, 사람의 시선으로부터 얻은 고정맵들과 비교가 된다. 비교 결과를 토대로 양자 진화 알고리즘(Quantum-inspired evolutionary algorithm, QEA)이 퍼지 적분 기반의 시선 제얼 알고리즘 내부에 있는 선호도를 조절하여 알고리즘이 점점 사람과 유사한 경로를 생성하도록 만든다. 이 방법의 유용성은 이끌어낸 선호도가 들어간 시선 제어를 새로운 그림에서 사람의 시선 제어와 비교하여 검증하였다.
마지막으로, 로봇의 시선은 정보 전달 뿐만이 아니라 정보 획득의 역할도 담당한다. 이 2가지의 역할은 사람과의 협동 (Human robot cooperation)에서 특히 중요하다. 본 논문에서는 사람과의 협동을 위한 시간 적 계층 구조(Hierarchical temporal memory, HTM)를 이용한 로봇의 시선 제어를 구현해주었다. 로봇은 HTM을 이용하여 자신이 작업해야 하는 순서와 언제 사람과 상호작용을 해야 하는지 알 수 있다. 로봇은 신경망(Neural network)을 이용하여 물체를 인식하고 열상 정보(Thermal image)를 이용하여 사람을 인식 한다. 인식한 물체를 토대로 로봇은 HTM으로 부터 자신이 수행해야 하는 작업을 알아낸다. 그 후, 로봇은 샘플링 기반 알고리즘(Sampling-based algorithm)을 통해 자신의 행동 경로를 생성하여 수행한다. 작업 수행 도중 로봇은 끊임없이 시선을 제어하여 작업수행에 필요한 정보를 받아들인다. 작업 수행 도중 사람이 로봇의 작업을 방해하거나 로봇이 스스로 작업 수행이 불가능한 것을 인식할 경우, 로봇은 사람과의 협동을 시도한다. 제안한 알고리즘은 본 연구실에서 개발한 Mybot-KSR2를 통해 검증하였다.
