To perform a home service task through cooperation with a human in a real environment, a robot needs to deal with the environmental changes and accordingly plan appropriate behavior sequence. For this purpose, in this paper, we propose a Human-Robot Collaboration Architecture which is based on memory and reasoning. A robot perceives user behaviors and objects using an RGB-depth and thermal sensor. The robot stores a temporal sequence of behaviors for performing a task in its episodic memory, Perception-to-Planning Network, that is realized by a sequence to sequence network. When the user command is given, the episodic memory is used to retrieve the behavior sequence to carry out the command. On the other hand, when the robot perceives user behaviors, the robot postpones its behavior till his/her behavior is stopped. Once stopped, the episodic memory retrieves the behavior sequence to conduct a task that the user has intended. The internal simulator schedules the behavior sequence from the memory and confirms the behavior sequence to be executable and then if executable, it sends the next executable behavior to the execution module. If a behavior fails in the internal simulation test, fast forward planner generates an alternative behavior sequence to resolve the failed behavior problem. The effectiveness and applicability of the proposed Perception-to-Planning Network and Human-Robot Collaboration Architecture are demonstrated by a wheel-based humanoid robot. In addition, we have demonstrated the possibility of implementing a cooking recommancation robotic system.
로봇이 실제 가정 환경에서 인간과 협력하여 가정 서비스 작업을 수행하려면 로봇이 환경 변화에 대처하고 이에 따라 적절한 행동 순서를 계획해야한다. 이를 위해 본 논문에서는 기억과 추론에 기반한 인간-로봇 협력 구조를 제안한다. 로봇은 RGB-D 센서와 열 감지 센서를 사용하여 사용자의 행동과 사물을 감지한다. 작업을 수행하기 위한 시간 순서 상의 행동 순서들을 일화 기억에 저장한다. 이 일화 기억은 지각-계획 네트워크로 Seq2Seq 네트워크로 구현된다. 로봇에게 사용자의 명령이 주어지면 일화 기억에서 작업을 수행하기 위해 필요한 행동 순서들을 회상해 수행할 행동 순서에 저장한다. 반면에 로봇이 사용자의 행동을 감지하면 로봇은 사용자의 행동이 멈출 때까지 자신의 행동을 연기한다. 사용자의 행동이 멈추면 이 사용자의 행동들을 바탕으로 일화 기억에서 사용자가 의도한 작업을 수행하기 위한 잔여 행동 순서들을 회상해 수행할 행동 순서에 저장한다. 내부 시뮬레이터는 수행할 행동 순서들을 정리하고 이 행동들이 실행 가능한지 확인한 후 실행이 가능하면 실행 모듈에 보내 로봇이 해당 행동을 수행하도록 한다. 저장된 수행할 행동 순서 중 첫 행동이 수행 불가능할 시에는 빨리 감기 계획자(Fast Forward Planner)에 첫 행동이 수행가능하도록 하는 대체 행동 순서를 생성해 로봇이 수행하도록 한다. 제안된 지각-계획 네트워크와 인간-로봇 협력 구조의 효과 및 가능성은 바퀴 기반 휴머노이드 로봇 "Mybot"을 통해 입증했다. 추가적으로 요리 추천 로봇 시스템을 구현하여 그 가능성을 입증했다.