This dissertation presents a generic framework for group activity recognition using simple non-obtrusive sensors. The proposed scheme is motivated by the desire for pervasive service provision and system automation in smart spaces. Existing approaches for group activity recognition can only express the sequence of actions. Hence, they have difficulty scaling up to capture group activities. To solve this, the proposed approach is based on the idea that group activity patterns can be derived from mining interval-based temporal relationships between users' actions. It leverages a high-level hybrid architecture that can capture the essence of the temporal dependencies, represented as a set of weighed rules. The proposed approach can also learn different weights for common rules between similar group activities. To validate the proposed scheme, I used the data in Internet of Things testbed of KAIST, which was recorded over two months from a public seminar room. I compare the proposed scheme against the sequential baseline model, a mixture of Gaussian Hidden Markov Models. The proposed approach shows 1 4% better f-1 score on real data and 37% on noisy data than the baseline models. We show that the proposed model is able to distinguish between similar group activities using a small number of rules.
본 연구는 스마트 공간에서 사용자의 행동상의 제약이나 직접적인 개입 없이 데이터를 수집하는 non-obtrusive 센서를 활용하는 그룹 활동 인식 프레임워크를 제안한다. 본 연구는 스마트 공간에서 사용자에게 자연스러운 맞춤형 서비스를 자동으로 제공하고자 하는 필요성을 달성하기 위한 목적으로 시작하였다. 사용자들의 그룹 활동을 인식하는 기존의 연구는 Gaussian Hidden Markov 모델을 기반으로 하고 있으며, 이 모델은 행동의 전후 관계, 즉 순서만을 고려하기 때문에 실제로 그룹 활동의 특성을 설명할 수 있는 다양한 측면의 temporal relation-ship을 고려하지 못하여 유사한 그룹 활동을 잘 구분해 내지 못하는 한계가 있다. 이를 해결하기 위해 본 연구에서는 사용자들의 행동들 사이에 나타나는 여러 가지 temporal relation-ship을 마이닝하여 그룹 활동 패턴을 파악하는 과정을 핵심으로 하는 그룹 활동 인식 프레임워크를 제안한다. 제안하는 방법은 가중치가 부여된 규칙들로 표현되는 temporal relation-ship을 포착할 수 있는 고차원 하이브리드 아키텍처를 기반으로 하고, 이를 통해 전후관계 측면에서 유사한 그룹 활동들이 서로 다른 공통의 규칙을 갖고 있음을 학습한다. 본 연구의 검증을 위해 KAIST에 있는 사물 인터넷 테스트베드에서 세미나실에 대하여 2개월 간 수집된 데이터를 활용하였다. 본 연구와 기존 연구를 실제 데이터와 noisy data에 적용하여 비교한 결과, 실제 데이터에서는 제안하는 방법이 기존 연구 대비 14% 더 높은 F-1 스코어를 보였으며, noisy data 에서는 베이스 모델에 비해 37% 더 좋은 스코어를 보여주었다. 추가적으로, 본 연구에서는 유사한 그룹 활동들을 적은 수의 규칙으로 구분해낼 수 있다.