The human activity recognition in the IoT environment plays the central role in the ambient assisted living, where the human activities can be represented as a concatenated event stream generated from various smart objects. From the concatenated event stream, each activity should be distinguished separately for the human activity recognition to provide services that users may need. In this regard, accurately segmenting the entire stream at the precise boundary of each activity is indispensable high priority task to realize the activity recognition. Multiple human activities in an IoT environment generate varying event stream patterns, and the unpredictability of these patterns makes them include redundant or missing events. In dealing with this complex segmentation problem, we figured out that the dynamic and confusing patterns cause major problems due to: inclusive event stream, redundant events, and shared events. To address these problems, we exploited the contextual relationships associated with the activity status about either ongoing or terminated/started. To discover the intrinsic relationships between the events in a stream, we utilized the LSTM model by rendering it for the activity segmentation. Then, the inferred boundaries were revised by our validation algorithm for a bit shifted boundaries. Our experiments show the surprising result of high accuracy above 95%, on our own testbed with various smart objects. This is superior to the prior works that even do not assume the environment with multi-user activities, where their accuracies are slightly above 80% in their test environment. It means that our work is feasible enough to be applied in the IoT environment.
IoT 환경에서 Ambient Assisted Living 을 실현하기 위하여 인간의 행동을 정확하게 인지하는 것은 굉장히 중요하다. IoT 공간에서 인간의 행동은 계속해서 일어나므로, 공간 내 일련의 행동은 각 행동을 수행할 때 발생된 이벤트 스트림들이 이어진 하나의 긴 이벤트 스트림 형태로 표현된다. 그러므로 사용자의 행동을 인지하고 그들에게 맞춤 서비스를 제공해 주기 위해서는, 우선적으로 긴 이벤트 스트림을 사용자 행동 단위로 구분해야 한다. 이러한 점에서, 전체 긴 이벤트 스트림을 사용자 행동 단위로 정확하게 분할하는 과정은 인간 행동 인지에 필수적으로 요구되는 요소이다. 그러나 IoT 환경에서 다중 사용자의 행동은 매우 다양한 이벤트 스트림 패턴을 갖는다. 사용자 행동의 예측 불가능성으로 어떠한 이벤트 스트림이 불필요한 이벤트를 포함하거나 필요한 이벤트를 포함하지 않을 수 있는데, 이러한 현상은 사용자 행동 단위 분할을 복잡하고 어렵게 만든다. 이 논문에서는 패턴의 예측 불가능성이 이벤트 스트림을 분할하는데 야기하는 문제점인, 1) 이벤트 스트림 간 포함 관계, 2) 불필요한 이벤트, 3) 연속적인 행동 간 공유되는 이벤트에 대하여 자세하게 규명한다. 이러한 문제 상황 속에서 분할을 수행하기 위하여, 우리는 행동의 진행상태(진행 중 또는 끝/시작)를 파악할 수 있는 이벤트 스트림 내 문맥적(순서) 관계를 이용한다. 즉, 어떠한 스트림을 구성하는 일련의 이벤트들이 내포한 문맥적인 관계를 이용하여, 행동의 진행 상태를 파악해 행동 단위로 분할하게 된다. 이 때, 일련의 구성 이벤트들 간 관계를 파악하기 위하여 딥러닝 기법인 LSTM 을 가정된 상황에 맞게 설계하였다. LSTM 에 의해 스트림 내 분할 지점들이 추론되고, 추론된 지점들은 제안된 알고리즘에 의하여 검증되고 보정된다. 위 기법에 대한 실험은 실제 IoT 테스트베드 환경에서 약 95%의 정확도를 보이므로, 이는 복수 사용자 또는 패턴의 예측 불가능성을 가정하지 않는 환경에서 약 80%의 정확도를 가지는 기존연구들에 비해 우수한 성능을 가진다. 또한, 이러한 결과는 본 연구가 현실에 적용될 수 있음을 의미한다.
