I propose real-time robust body part tracking system for intelligent environment that does not limit the user`s freedom. The generality of the system was upgraded relative to body part tracking by establishing an ability to recognize details, such as, whether the user wears long sleeves or short sleeves. For precise body part tracking, we obtained images of hands, head, and feet separately via a single camera, and when detecting each body part, we separately chose appropriate features for specific parts. Using a calibrated camera, we transferred 2D detected body parts into an approximative 3D pose. In experiments conducted to evaluate the body part tracking system, the application with the proposed system showed advanced hand tracking performance in real time(50fps).
본 논문은 지능형 환경에 적합한, 사용자의 자유도를 제한하지 않으면서 정확하게 제스처를 인식하는 신체 부위 추적 시스템을 제안하였다. 실험을 통해 한 대의 카메라 영상에서 머리와 손의 2차원 위치, 발의 3차원 위치를 얻어 가정된 평면 모델을 사용함으로써 사용자의 3차원 자세를 추정할 수 있었다. 본 시스템은 기존의 신체 부위 추적 시스템과 달리 소매의 길이에 제약 없이 긴 소매, 반 소매 모두 인식할 수 있도록 함으로써 시스템의 generality를 높였다. 정확한 인식을 위하여, 한 대의 카메라에서 얻어진 이미지에서 손, 머리, 발의 신체 부위를 따로 검출하고 각 신체 부위를 검출할 때 해당 부위에 적합한 특징점을 따로 선택하여 검출하였다. 검출된 2차원의 신체 부위들을 calibrate된 카메라를 이용하여 3차원 자세로 변환하였다. 본 시스템은 손과 머리의 3차원 근사값을 얻었지만 타 3D 방식의 단점이었던 처리 속도 문제를 해결하기 위해 검색 범위 축소, Adaboost, particle filter 등의 기법을 사용함으로써 빠른 수행 속도(50 fps)를 보일 수 있었다. 정확한 추적 성능을 측정하기 위해 추적 실패가 잘 일어나는 3가지 상황에 대하여 정의 및 실험을 하였고 성공적인 결과를 얻었다.
