This paper describes a real-time multiple objects tracking and human action recognition framework that tracks multiple objects with silhouettes and recognizes distinct human actions through image sequences acquired from a single fixed camera. This framework consists of three sub processes; blob extraction, object tracking, and human action recognition. First, given an image, we segment blobs by using pixel-level and region-level foreground detection to handle varying light condition and periodic change of background. In the two level foreground detection, we improve the Mixture of Gaussians algorithm with a hierarchical data structure and propose a foreground detection method which removes shadow and highlight that do not belong to moving objects through using both color and edge information. Second, we propose a real-time multiple objects tracking process with silhouettes. This process is a kind of the multi-frame tracking approach handling grouping and fragmentation. Given a blob set, we determine blob association events by associating the current blob set and the previous blob set, and update the blob inference graph according to the blob association events. Then we label each vertex as one of fragment, object, or group, and we efficiently localize objects according to object events induced from the blob inference graph. Lastly, we model an action as a Motion History Image (MHI) based on given object tracks, normalize the MHI, reduce the MHI using PCA, and classify an action using a multi-layer perceptron. Experiments on some common datasets and our own datasets for performance evaluation show promising results which confirm that we achieved a high recognition rate for the five actions of walking, running, sitting, standing, and falling though each subject performed each action in a slightly different manner. The results also confirm that the proposed framework can cope in real time with multiple persons. Because the proposed framework does not employ class-specific object model or domain knowledge, the proposed framework can be readily used in a wide range of applications, including intelligent video surveillance and human computer interaction.
본 논문은, 고정된 카메라로부터 얻어진 영상들이 주어질 때, 정확한 실루엣을 포함하여 다수 객체를 추적하고 인간의 행동을 인식하는 실시간 다수 객체 추적 및 인간 행동 인식 프레임워크를 기술한다. 이 프레임워크는 블랍 추출, 객체, 추적, 그리고 인간 행동 인식의 세가지 하위 프로세스들로 구성된다. 먼저, 영상이 주어지면, 다양한 조명 상태와 배경의 주기적 변화에 적절히 대처하도록, 픽셀-수준과 영역-수준으로 구성된 2단계 전경 검출 알고리즘을 적용하여 블랍을 추출한다. 2단계 전경 검출 과정에서, 계층적 데이터 구조를 갖는 다중 가우지안 알고리즘을 개선하고 색상과 에지 정보를 이용하여 이동 객체에 속하지 않는 그림자와 하이라이트를 제거하는 전경 검출 방법을 제안한다. 둘째로, 실루엣을 포함하여 다수 객체를 실시간으로 추적하는 방법을 제안한다. 이 과정은 다중-프레임 추적 방법의 일종으로 그룹과 쪼개짐 문제를 해결한다. 블랍 집합이 주어지면, 이전 블랍 집합과 현재 블랍 집합의 연결관계를 파악하여 블랍 연결 이벤트를 결정하고, 이 블랍 연결 이벤트에 따라 블랍 추론 그래프를 갱신한다. 그리고 각각의 버텍스를 쪼개짐, 객체, 또는 그룹 중의 하나로 분류하고, 블랍 추론 그래프로부터 유도된 객체 이벤트에 따라서 효과적으로 객체를 위치 시킨다. 끝으로, 객체 추적 결과가 주어지면, 행동을 Motion History Image (MHI)로 모델링하고, 이 MHI를 정규화 한 후, PCA를 이용하여 데이터 크기를 줄이고, 다중 구조 신경망을 이용하여 행동을 분류한다. 성능 평가를 위하여, 제안된 프레임워크를 몇몇 잘 알려진 데이터 집합과 직접 만든 데이터 집합에 적용하여 실험을 수행하였다. 각각의 피실험자가 각각의 행동에 대해서 조금씩 다른 방식으로 동작을 수행한 경우에도, 걷기, 뛰기, 앉기, 일어서기, 넘어짐의 다섯 가지 행동들에 대해서 높은 인식 결과를 보여 주었다. 또한, 실험을 통해, 제안된 프레임워크가 다수 인간에 대해서도 실시간으로 처리할 수 있음을 보였다. 제안된 프레임워크는 특정 객체 모델 또는 도메인에 특화된 지식을 사용하고 있지 않기 때문에, 지능형 영상 감시와 인간-컴퓨터 상호 작용 등을 포함하는 다양한 응용에 쉽게 사용할 수 있다.
