In this paper, human pose estimation and gesture recognition algorithms that use only depth information are proposed. The proposed methods are designed to be operated with only CPU(Central processing unit)s without aids of GPU(Graphic processing unit)s so that the algorithm can be operated on low cost platforms such as embedded board. The human pose estimation method is based on SVM(support vector machine)s and superpixels without prior knowledge of human body model. The SVMs classify each pixel in a human body image into one of pre-defined body parts. In classification process, to reduce the computation time for each depth image, all of the pixels in human body are not classified. Instead, superpixels are generated on the human body image, and then the superpixels are classified into one of body part. From the classified superpixels, the location of each body parts are estimated.
In the gesture recognition method, gestures are recognized from the pose information of human body. To recognize gestures regardless of motion speed, the proposed method utilized the keyframe extraction method. As a keyframe is extracted when the variation of the humans pose is above the pre-defined threshold, we can extract important pose information of a gesture from depth image sequence irrespective of motion speed. In addition to motion speed, there are variations of pose information in the same pose of the same gesture even when a person perform same gesture again. To make the gesture recognition algorithm robust to such variation, means and variations of body part locations in each keyframe are stored at registration process. The gesture recognition is performed by comparing input keyframes with keyframes in registered gestures. The gesture yielding smallest comparision error is chosen as a recognized gesture. To prevent recognition of the gestures when a person acts a gesture that is not registered, we set maximum comparision errors by comparing each registered gesture with the other gestures. Finally, to reduce false recognition, a sliding window filter is applied.
We evaluated our method using the dataset that we made. The experiment results show that our methods perform fairly well and can be applicable in real environment.
본 논문에서는 깊이(depth) 영상만을 이용한 사람의 관절위치추정과 추정한 관절 정보를 바탕으로 한 행동인식 기법을 제안한다. 제안하는 기법은 GPU(Graphic processing unit)의 사용 없이 CPU(Central processing unit)만으로 실시간 동작이 가능하도록 알고리즘을 설계하여 임베디드(Embedded)보드와 같은 저가형 시스템에서도 구동 가능하다. 관절위치추정 알고리즘은 사전의 모델 정보 없이 SVM(support vector machine)을 이용한 학습기반 방법을 사용하여 깊이 영상 내의 사람의 몸의 픽셀을 사전에 정의한 몸의 한 부분으로 분류하며 분류정보를 바탕으로 관절의 위치를 추정한다. 이때 연산 시간을 단축시키기 위해 사람의 모든 픽셀을 분류하는 대신 군집한 픽셀들을 대표하는 superpixel들을 생성한 후 이를 분류하도록 하여 분류하는 픽셀의 개수를 감소시켰다.
행동인식 알고리즘의 경우 추정한 관절의 위치를 바탕으로 관절위치 변화추이를 통해 행동을 인식한다. 행동의 속도와 상관없이 행동인식이 가능하도록 key frame extraction 기법을 사용하여 행동에서 중요한 프레임을 추출 후 등록된 행동들의 keyframe과 비교하여 행동을 인식한다. keyframe은 사람의 관절의 위치 변화가 특정 수준 이상일 경우 추출되기 때문에 행동의 속도와 상관없이 행동의 추이를 파악할 수 있다. 행동등록에 있어서는 사람마다 행동 시 관절의 위치가 차이가 있으므로 이를 강인하게 인식하기 위해 행동 등록 시 키프레임 별 관절 위치의 평균 및 분산이 같이 등록된다. 입력행동은 등록행동들과 비교하여 비교 에러 값이 최소가 되는 행동으로 인식되며, 이때 등록 행동 간의 유사도 바탕으로 한 최대 경계 에러를 설정하여 등록된 행동 외에 다른 행동을 취했을 경우에도 등록된 행동 중 하나로 인식 되는 것을 방지하였다. 최종적으로 sliding window filter를 적용하여 오인식률을 최소화하였다.
제안한 관절위치추정 및 행동인식 기법은 자체 제작한 데이터 베이스를 바탕으로 실험을 진행하였으며, 실제 환경에서 적용 가능할 정도의 성능을 보였다.
