Activity recognition is an important and challenging topic in computer vision, with many interesting applications including interactive environments, visual surveillance, advanced user interface, personalized sports training, choreography, and clinical research of orthopedic patients. However, most works show view-specific recognition so recently researches have begun to provide view-invariant human activity recognition in those applications. One approach is to use Motion History Volume (MHV) and apply Fourier transformation to the MHV to have the descriptor view-invariant characteristic.
In this paper, I describe a 3D human activity recognition system that are based on the approach and can recognize ten activities: walking, running, sitting down, standing up, falling down, punching, kicking, turning, hugging, shacking, from sequence of images from multiple cameras installed in a lobby or a corridor in the interior of a building. I made an experiment on seven subjects. Although they conducted ten activities in a slightly different manner, the system successfully recognized ten human activities.
인간 행동 인식은 실 세계에서 다양한 분야에 응용되는 매우 중요한 연구 주제로써 특히 환경과 인간이 상호 작용하는 응용, 카메라를 이용한 감시, 진보된 사용자 인터페이스, 개인화된 스포츠 트레이닝, 안무등과 같은 부분에서 많이 응용되고 있습니다. 그러나 대부분의 연구들이 하나의 카메라를 이용, 영상에 대한 2차원 정보만을 이용함으로써 카메라 시점에 종속되고, 제한된 카메라 시점 때문에 인간 행동에서 필연적으로 발생하는 행동의 자기 중첩 현상에 있어서 인식이 취약하다는 한계를 가지고 있습니다. 본 논문에서는 이러한 한계를 극복하고자 이미 2006 년 Weinland, Ronfard, Boyer 가 제안한 여러 대의 카메라를 이용하여 Motion History Volume을 만들고 이것을 이용한 시점에 무관한 특징 추출 방법을 사용하여 인간 행동 인식 시스템을 구성하였습니다.
시스템은 크게 네 개의 부분으로 구성됩니다. 특정 공간을 바라보는 시점이 다른 여러 대의 카메라로부터 받아들인 이미지들로부터 우선 첫 번째로 우리의 관심영역을 분리해내는 Segmentation 단계가 있습니다. 이때에는 Segmentation에 보편적으로 사용되는 알고리즘인 계층적 데이터 구조를 가지는 Mixture Of Gaussian 알고리즘을 사용하였습니다. 이 단계의 결과로 배경은 제거되고 인간 영역만이 남게 되고 이것은 두 번째 단계의 입력으로 들어가게 됩니다. 두 번째 단계는 Motion History Volume을 만드는 과정으로 먼저 입력 받은 여러 개의 실루엣 이미지로부터 voxel이라는 3차원 볼륨 객체를 이용해서 인간에 대한 3차원 볼륨을 만듭니다. 그 결과가 Visual Hull이 되고 특정 시간 동안 만들어진 Visual Hull을 중첩하되 최근에 만들어진 Visual Hull에 속한 voxel들은 더 강한 강도를 가지고 하고 전에 만들어진 voxel들의 강도는 더 약하게 하여 중첩하면 Motion History Volume이 만들어집니다. 세 번째 단계를 만들어진 Motion History Volume으로부터 특징을 추출하는 단계입니다. 먼저 위치, 크기에 대한 정규화를 수행하고 좌표계를 원기둥 좌표계로 변환합니다. 시점에 무관한 특징으로 만들기 위해서 (r,z)쌍에 대한 $\Theta$ 위치의 강도값들을 1차원 퓨리에 변환합니다. 모든 (r,z)쌍에 대해 이렇게 변환된 값들을 연결하여 하나의 벡터를 만듭니다. 네 번째 단계는 이렇게 만들어진 특징 벡터를 이용하여 행동을 클래스 별로 분류해 내는 작업입니다. 사람마다 조금씩 다르게 행동하고 한 사람이 동일 행동을 반복해도 매번 다르게 행동하므로 이점을 감안하여 인식기로는 다 계층을 가지는 신경망을 사용하였습니다. 결과 클래스로는 10개의 행동을 정의하였습니다. 각각은 걷기, 뛰기, 앉기, 서기, 넘어지기, 펀치, 발차기, 뒤돌기, 두 사람이 포옹하기와 악수하기가 있습니다.
실험을 위해서는 7명의 사람에 대해서 신경망을 학습시켰고 실험에 참여하지 않은 다섯 사람과 실험에 참여 했지만 테스트를 위해서 다시 한번 행동을 기록하여 테스트한 두 사람, 총 일곱 사람, 10개의 행동에 대해서 인식한 인식률을 확인해 보았습니다. 그 결과 평균 93.57%의 인식률을 얻을 수 있었습니다.
본 논문에서는 이미 제안된 방법을 이용하여 3차원 정보를 이용, 시점에 무관한 행동 인식 시스템을 만들어 보고 다른 상황에서 다른 행동에 대해서 실험해 봄으로써 그 방법이 실제 사용되었을 때 얼마나 강인하게 동작할 수 있는지, 실시간으로 사용될 수 있는 방법인지를 확인해 보았습니다.
