Automated home referred as Smart Home is expected to offer fully customized services to the residents, reducing the amount of home labor thus improving the welfare for human beings. Service robots and internet of things (IoT) play the key roles in the development of Smart Home. Service provision with these two main components in a Smart Home environment requires 1) learning and reasoning algorithms and 2) the integration of robot and IoT systems. Conventional computational intelligence based learning and reasoning algorithms do not successfully manage dynamic changes in the Smart Home data, and the simple integrations fail to fully draw the synergies from the collaboration of the two systems. To tackle these limitations, we propose 1) a stabilized memory network with a feedback mechanism which can learn user behaviors in an incremental manner and 2) a robot-IoT service provision framework for a Smart Home which utilizes the proposed memory architecture as a learning and reasoning module and exploits synergies between robot and IoT systems. We conduct a set of comprehensive experiments under various conditions to verify the performance of the proposed memory architecture and the service provision framework and analyze the experiment results.
Intelligent agents need to gather relevant information and perceive semantics within the environments the agents are situated in before taking on given tasks. The agents store the collected information in the form of environment models, which represent the surrounding environments in a compact way. The agents, however, can only conduct limited tasks without an efficient and effective environment model. Thus, such a model of surrounding environments takes a crucial role in autonomy systems of intelligent agents. We claim the following characteristics for a versatile environment model: accuracy, applicability, usability, and scalability. Although a number of researches have attempted to develop such representations of environments and represented environments precisely to a certain degree, they lack broad applicability, intuitive usability, and satisfactory scalability. To tackle these limitations, we propose 3D scene graph as an environment model and the 3D scene graph construction framework. The concise and widely-used graph structure readily guarantees usability as well as scalability for 3D scene graph. We demonstrate the accuracy and applicability of 3D scene graph by exhibiting deployment of 3D scene graph in practical applications. Moreover, we verify the performance of the proposed 3D scene graph and the framework by conducting a series of comprehensive experiments under various conditions.
Intelligent agents need to understand the surrounding environment to provide meaningful services to or interact intelligently with humans. The agents should perceive geometric features as well as semantic entities inherent in the environment. Contemporary methods in general provide one type of information regarding the environment at a time, making it difficult to conduct high-level tasks. Moreover, running two types of methods and associating two resultant information requires a lot of computation and complicates the software architecture. To overcome these limitations, we propose a neural architecture that simultaneously performs both geometric and semantic tasks in a single thread: simultaneous visual odometry, object detection, and instance segmentation (SimVODIS). Training SimVODIS requires unlabeled video sequences and the photometric consistency between input image frames generates self-supervision signals. The performance of SimVODIS outperforms or matches the state-of-the-art performance in pose estimation, depth map prediction, object detection, and instance segmentation tasks while completing all the tasks in a single thread. We expect SimVODIS would enhance the autonomy of intelligent agents and let the agents provide effective services to humans.
자동화된 집인 스마트홈은 거주자에게 개인 맞춤형 서비스를 제공함으로써 가사 노동을 줄이고 인간 삶의 질을 높일 것으로 기대된다. 스마트홈 발전에는 서비스 로봇과 사물인터넷이 지대한 역할을 담당한다. 스마트홈을 이용한 서비스 제공은 다음과 같은 두가지 요소를 필수로 한다: 1) 학습 및 추론 알고리즘, 2) 로봇-사물인터넷 통합 시스템. 전통적인 학습 및 추론 알고리즘은 동적으로 변하는 스마트홈 환경 데이터에 적절하게 대응하지 못하고 단순한 로봇과 사물인터넷 통합 시스템은 두 시스템 간의 시너지 효과를 제대로 누리지 못한다. 이러한 한계점을 해결하기 위해 이 논문에서는 1) 점진적 학습이 가능한 피드백 메커니즘을 갖춘 안정화된 메모리, 2) 서비스 제공을 위한 로봇-사물인터넷 통합 시스템을 제안한다. 통합 시스템에서는 제안하는 메모리를 이용하여 사용자의 행동을 학습하고 적절한 서비스를 추론한다.
지능 에이전트가 주어진 작업을 수행하기 위해서는 환경 정보를 수집하고 환경에 내재되어 있는 의미 정보를 파악해야 한다. 에이전트는 얻은 정보를 환경 모델이라는 형태로 저장하게 되는데, 이 환경 모델이 효과적이고 효율적이지 않으면 에이전트는 주어진 작업을 성공적으로 수행할 수 없다. 환경 모델은 정확성, 확장성, 응용성, 사용성이 보장되어야 한다. 선행 연구들에서 제안된 환경 모델들은 정확성 측면만 고려한 나머지, 확장성, 응용성, 사용성 등이 떨어진다. 본 논문에서는 네 가지 환경 모델 요소를 모두 충족하는 삼차원 장면 그래프를 제안한다. 제안하는 모델은 널리 사용되는 그래프 형태이기 때문에 사용성이 높고, 가벼운 구조를 가지고 있기 때문에 확장성이 뛰어나다. 더불어 본 논문에서는 여러 실험을 통해 응용성을 검증한다.
지능형 에이전트는 주변 환경을 이해하여 의미있는 서비스를 제공하거나 인간과 지능적으로 상호 작용해야한다. 에이전트는 환경에 내재 된 의미 뿐만 아니라 물리적 특성을 인식해야 한다. 기존 방법은 일반적으로 한 번에 한 가지 유형의 환경 정보를 제공하므로 높은 수준의 작업을 수행하기가 어렵다. 또한 두 가지 알고리즘을 실행하고 두 개의 결과 정보를 연결하려면 많은 계산이 필요하고 소프트웨어 아키텍처가 복잡해진다. 이러한 한계를 극복하기 위해 단일 스레드에서 물리적 및 시맨틱 작업을 동시에 수행하는 신경 아키텍처를 제안한다: SimVODIS. SimVODIS를 훈련하는 데에는 레이블이 없는 비디오 시퀀스가 필요(비지도 학습)하며 워핑을 통한 입력 이미지 프레임 간의 일관성은 자체 훈련 신호를 생성한다. SimVODIS의 성능은 포즈 계산, 깊이 맵 예측, 객체 감지 및 인스턴스 분할 작업에서 최신 성능을 능가하거나 일치하며 모든 작업을 단일 스레드로 완료한다. 우리는 SimVODIS가 지능형 에이전트의 자율성을 향상시키고 에이전트가 효과적인 서비스를 인간에게 제공하게 할 것으로 기대한다.
