This thesis studies the problem of human action recognition by using Microsoft`s XBox Kinect. Our research is motivated by the observation that an ``hand waving" action is not easily recognized in a ``standing positioned hand waving" action video and a ``walking positioned hand waving" action video when both two videos are used to learn the ``hand waving" action. This is mainly due to the limitation of the current action video representation approaches, which use whole range of a human body as features. We present a novel human action recognition approach that detects characterizing body-parts for an action and concentrates on them to improve the performance of the action recognizer. To detect the essential body-parts, the proposed approach (i) represents an action video with twenty separate body-parts; (ii) finding patterns for each body-part; (iii) clustering body-parts by the pattern lengths; and (iv) decide the vectors belong to the top ranked clusters as essential. Once essential body-parts are detected, the action recognizer concentrates on the body-parts to recognize an action. Our experimental results show that the essential vectors are well identified when three clusters are formed and only the top ranked cluster is used. It is also proven that using the essential body-parts improves the performance of the action recognizer. The main contribution is that the proposed approach is able to detect essential body-parts in an automatic way. This helps an action recognizer learns an action without setting a limitation on training videos. Hence, our proposed approach will ultimately minimize the required human efforts to achieve the goal of vision-based human action recognition research.
이 논문은 마이크로 소프트의 XBox Kinect를 이용하여 사람의 행동 인식 문제를 연구하였다. ``서서 손 흔드는" 행동과 ``걸어가면서 손 흔드는" 행동을 통합해서 ``손 흔드는" 행동으로 학습할 때, 각각의 행동에 대해서 ``손 흔드는" 행동의 인식률이 높지 않음에서 연구의 동기를 얻었다. 이는 기존의 연구에서 사람의 몸 전체 영역을 특징점으로 사용하여 동영상을 표현하기 때문이다. 제안하는 방법은 행동마다 특징이 되는 신체부분에 집중하여 학습함으로써, 인식률을 높이고자 한다. 필수적인 신체부분을 찾기 위해 (i) 행동을 담은 동영상을 스무 개의 신체부분으로 나누어 표현하였고; (ii) 각 신체부분 별 패턴을 찾아; (iii) 패턴의 길이에 따라 신체부분끼리 클러스터를 형성하고; (iv) 상위의 클러스터에 해당하는 신체부분을 필수적이라고 정하는 과정을 거쳤다. 필수적인 신체 부분이 결정되면, 행동인식기는 그 부분에만 집중하여 행동인식을 수행하게 된다. 실험결과, 세 개의 클러스터를 형성하고 그 중 상위 한 개 클러스터만을 사용할 때, 필수적인 신체 부분이 가장 잘 찾아지는 것을 보였다. 또한, 필수적인 신체부분만을 사용하였을 때 행동 인식기의 성능이 향상되는 것을 증명하였다. 제안하는 방법은 필수적인 신체부분을 자동으로 찾도록 기여한다. 이 방법을 이용하면, 행동 인식기의 학습을 위한 동영상 종류에 제한을 두지 않아도 된다. 따라서, 이 방법은 비젼-기반의 사람의 행동 인식 연구의 목표를 달성하기 위한 사람의 노력을 최소화할 것이다.
