In the domain of the Internet of Things (IoT), devices are made to understand and react to the current situation. These devices form smart environments, which are tasked with providing support to users. As users want to be provided with personalized support, these environments need to be able to learn user preferences, such as what temperature the room should be or which lights should be turned on. In this paper, we propose a novel system that separates the tasks of learning a user's preferences and realizing them within the environment. The system is able to capture user preferences by reinterpreting the problem as an optimization problem and applying inverse reinforcement learning to it. The system is shown to be able to accurately extract preferences related to each task given a small number of user demonstrations. These preferences are then realized by actuates devices running reinforcement learning-based agents to provide an environment consistent with the learnt preferences, even in situations not included in any user demonstration.
최근 사물 인터넷 시대가 도래하면서 스마트 기기들이 주변의 상황을 이해하고 또 그에 맞게 반응할 수 있게 되었다. 이러한 스마트 기기들은 스마트 공간을 이루면서 공간 속 사용자들이 수행하고자 하는 바를 지원해주기 위한 서비스 에이젼트의 역할을 수행한다. 사용자들은 서비스가 제공될 때 본인의 기호에 맞는 개인화 된 서비스의 형태를 원하기 때문에, 스마트 기기들은 사용자가 원하는 온도나 밝기 등의 기호를 학습 하고 그런 환경을 제공해줄 수 있어야 한다. 본 연구는 사용자의 기호 학습 및 실현을 위해 스마트 공간을 구성하는 기기들로 하여금 사용자가 수행하고자 하는 작업을 중심으로 협업을 할 수 있게 해주는 시스템을 제안한다. 이 시스템에서는 역 강화학습 (inverse reinforcement learning) 기법을 활용하여 사용자의 상호작용을 관찰하면서 자동으로 그 기호를 학습한다. 기호가 학습된 후에는 각 스마트 기기들이 강화학습 기법을 활용하여 환경이 학습 된 기호에 맞춰서 변화할 수 있는 방향으로 서비스를 제공해준다. 실험 결과, 본 연구가 제안하는 시스템이 사용자가 작업 수행 시 원하는 기호를 성공적으로 학습하고 또 실현해줄 수 있음을 확인 할 수 있었다.
