Recent advancement of RGB-D cameras has enabled human-pose tracking in the form of a skeleton containing the 3D position of body joints. The skeleton can be used for further motion analysis tasks including action recognition. However, skeletal tracking of a single camera is prone to occlusion and is view dependent. In this thesis, we explore a relatively new field of multi-view skeleton-based human action recognition. Skeletal data from two different views are collected, and two fusion methods are applied to combine them. A view-invariant action recognition system is built by first computing a histogram based on the location of body joints to get a frame level feature. Clustering is applied to the resulting histograms to build a dictionary of frame representatives. An action is then represented as a sequence of frame representatives. Recognition is performed as a sequence matching task by using Dynamic Time Warping coupled with K-nearest neighbor algorithm. Experiments were conducted to observe the performance of the multi-view system in terms of accuracy and how soon it can recognize actions compared to single-view systems. Experimental results show that the fusion skeletal data consistently outperformed single-view data, but there is no significant difference in how soon they can recognize actions. The results also suggest that even if a view-invariant method is used, action recognition by using skeletal data obtained from an unfavorable viewpoint has a considerably low accuracy. These results emphasize the importance of multi-view settings and thus may encourage more research in this relatively new field.
최근 RGB-D 카메라의 발전은 신체 관절의 3차원 구조 정보를 포함하는 골격을 구성하여 신체 포즈의 모델링을 가능하게 하였고, 이러한 골격은 사람 행동 인식 연구에 활용될 수 있다. 그러나, 단일 카메라에 의한 골격의 추적은 폐색(occlusion)에 취약하며 카메라의 시점에 의존적이다. 본 논문은 두 대의 카메라에서 얻어진 골격을 융합하고, 이를 통해 사람 행동 인식의 성능 개선을 시도하였다. 시점-불변적 행동 인식기의 구축을 위해, 먼저 신체 관절의 3차원 위치에 기반을 둔 히스토그램을 계산하고, 이로부터 프레임 레벨 자질들을 추출하였다. 골격의 움직임은 클러스터링 기법을 적용하여 얻어진 프레임 레벨의 대표 값들로 표현하였다. 마지막으로 행동 인식은 K-nearest neighbor 알고리즘과 dynamic time warping 알고리즘을 접목시킨 시퀀스 매칭으로 구현하였다. 실험 및 평가를 위해, 골격 융합 데이터를 적용한 행동 인지 시스템과 단일 시점 데이터를 적용한 시스템의 인지율을 각각 비교하였다. 그 결과, 골격 융합 데이터를 활용한 시스템은 단일 시점 데이터를 활용한 시스템보다 여일하게 인식률이 더 높음을 관찰하였다. 또한, 시점-불변적인 방식을 채택하여도 불리한 시점에서 얻어진 골격 데이터만을 이용한 시스템은 인지율이 상당히 낮은 결과를 보여주었다. 따라서 본 연구는 비교적 새로운 분야인 다중 시점 행동 인지 연구의 중요성을 실험을 통해 입증하였다.
