As the smart space is extending from the smart home to the smart city, more and more users and IoT devices will be involved in the future smart space. To address this new challenge, we explored how we can utilize the abundant data from the space to enhance user convenience with spontaneous services. In many cases, a group of people enter a smart space to conduct some activities for their common intention. If the system can recognize the intention as earlier as possible, the system will be able to provide more appropriate and optimized services for users, e.g., presentation control service and smart environment auto-configuration for the intention of ‘have a meeting.’ As the initial endeavor, we set out to recognize the Multi-User Common Intention (MCI) even in its early stage. To recognize MCI as early and accurately as possible, it is necessary to obtain enough appropriate contexts to learn the MCI in the very early stage for the machine learning system. For that, we figured out and utilized Multi-Dimensional Contexts, such as User-Activity, Ambient Status, Social Relationship and Time-Zone contexts, which cover sufficient inter-relational information among users and devices in the early stage. To utilize the Multi-Dimensional Contexts, we devised a novel task model that prescribes the formal structure of input and output for the machine learning to determine the MCI. For intention recognition, we customized a long short-term memory (LSTM) model to deal with various time-series data and static data, which is called DSM-LSTM. We evaluated the proposed methodology of the Early Recognition of MCI, using IoT data from a real smart office testbed, and our experiments showed high accuracy (85-90%) of intention recognition in 2-3 minutes after users enter a space. Based on our extensive experiments and analyses, we found that multi-users’ Social Relationship context, such as the group diversity index, was the most significant factor in early recognition of the MCI. These results confirm that our system can support the early MCI recognition for many smart space services and applications.
최근 스마트 공간에 대한 연구는 스마트 홈에서부터 스마트 시티로 확장됨에 따라, 미래의 스마트 공간에는 점점 더 많은 사용자와 IoT 기기가 참여하게 될 것이다. 이러한 환경의 변화 가운데에서 본 연구는 스마트 공간에서 얻은 풍부한 데이터를 어떻게 활용하여 사용자의 편의를 향상시킬 수 있는지 탐구하였다. 많은 경우에, 한 그룹의 사용자들은 그들의 공통의 의도를 실현하기 위해서 하기 위해 스마트 공간에 들어가고 일련의 행동들을 수행한다. 시스템이 가능한 한 일찍 다중 사용자의 공통 의도(MCI)를 인식할 수 있다면, 시스템은 사용자에게 보다 적절하고 최적화된 서비스 (예: 프레젠테이션 제어 서비스 및 스마트 환경 자동 구성)를 제공할 수 있을 것이다. 다중 사용자의 공통 의도(MCI)를 가능한 빠르고 정확하게 인지하려면 태스크의 초기 단계에서 다중 사용자의 공통 의도(MCI)를 학습할 수 있도록 충분하고 적절한 컨텍스트를 확보해야 한다. 이를 위해 사용자 활동, 주변 상태, 사회 관계 및 시간대 컨텍스트 등의 다차원 컨텍스트를 사용하였는데, 이 컨텍스트들은 사용자와 기기들간의 관계들을 충분히 표현할 수 있다. 또한 다차원 컨텍스트들을 활용하기 위해서 기계 학습을 위한 입력 및 출력의 구조를 규정하는 새로운 태스크 모델을 개발하였다. 이 태스크 모델에 기반하여 수집 된 데이터는, 새로운 LSTM (롱 숏텀 메모리)모델을 구현하여 다양한 시계열 데이터 및 정적 데이터를 처리하였다. 본 연구는 실제 스마트 오피스 테스트 베드를 구축하여 실험을 통해 다양한 IoT 데이터를 활용하여 다중 사용자 공통 의도(MCI) 조기 인지 기법을 평가했고, 사용자가 공간에 들어간 후 2-3분 만에 85-90%의 정확도를 보였다. 광범위한 실험과 분석을 바탕으로 그룹 다양성 지수(GDI)와 같은 다중 사용자의 사회적 관계 컨텍스트가 다중 사용자 공통 의도(MCI) 조기 인지에 가장 중요한 요인이라는 것을 발견하였다. 이러한 결과를 통해 본 연구의 시스템이 많은 스마트 서비스와 응용 프로그램에 대하여 다중 사용자 공통 의도(MCI) 조기 인지 기술을 지원할 수 있음을 확인하였다.
