As Artificial Intelligence (AI) and the Internet of Things (IoT) advance, services that physically interact with users and environments are in the spotlight. However, physical environment interactive services are severely affected by uncertain factors. For instance, information delivery using displays or navigating using drones may be blocked by obstacles or disturbed by other services. Furthermore, the influence of uncertain factors increases as the interaction complicates. In this study, we propose modeling-based and learning-based approaches to effectively provide service by dealing with the influence of uncertain factors. First, using the modeling-based approach, we design a service effectiveness metric based on the human sensory system and the service's physical characteristics. We evaluate the metric performance by performing user studies in laboratory and Virtual Reality (VR) environments. However, the modeling-based approach is hardly scalable and generalizable to numerous environmental factors and other service types. Second, we propose the learning-based approach that trains service agents to learn the influence of uncertain environmental factors without additional sensors and complicated modeling processes. In the learning-based approach, the agents that provide services receive users' feedback to implicitly learn the influence of uncertain environmental factors and improve services using multi-agent reinforcement learning. To effectively learn the influence between services, we suggest fingerprint attention and environment-centric communication. Furthermore, to accelerate learning and specialize each agent to individual conditions, we suggest multi-dimensional cluster-based federated learning with the parallel structure of neural networks that can independently share knowledge among multiple dimensions of clustering. We evaluate the learning-based approach by conducting simulations in various randomly generated environment sets. The results show that our approach achieves higher user satisfaction with less feedback than the baselines in most environments. Therefore, physical environment interactive services can be provided to the users effectively using the proposed approach, even under the complicated influence of uncertain environmental factors.
인공지능 및 사물인터넷의 발전에 따라 사용자와 물리적으로 상호작용하는 형태의 서비스가 주목받고 있다. 그런데, 물리적 환경 상호작용 서비스는 벽이나 다른 서비스 등 불확실한 요소에 크게 영향을 받는다는 어려움이 있다. 본 연구에서는 불확실적 요소의 복잡한 영향을 반영해 서비스를 효과적으로 제공하기 위한 모델링 및 학습 기반의 접근법을 제시한다. 먼저 모델링 기반 접근법을 통해 사용자의 감각 기관 및 서비스의 물리적 특성을 반영해 서비스 효과도 모델을 설계하고, 이를 실험실 및 가상 현실 환경에서 실제 사용자들을 대상으로 검증하였다. 그러나, 모델링 기반 접근법은 수많은 환경 요소를 전부 반영하기 어렵거나 다른 서비스로 일반화하기 어렵다는 단점이 있다. 따라서 불확실적 환경 요소의 영향을 센서나 모델링 없이 사용자의 피드백으로부터 간접적으로 반영하는 학습 기반 접근법을 설계하고, 이를 다양한 시뮬레이션 환경에서 검증하였다. 학습 기반 접근법은 다중 에이전트 강화학습을 기반으로 서비스 에이전트들을 점진적으로 훈련하며, 서비스 간 영향을 학습하기 위한 지문 어텐션 및 환경 중심 통신 기법을 제안한다. 또한, 에이전트들이 정보를 공유해 빠르게 학습하면서도 각 조건에 맞게 특화하도록 병렬 신경망 구조를 통해 확장한 다중 차원 클러스터 기반 연합 학습을 제안한다.
