An articulated object, such as a human hand, moves in very complicated way and it is difficult to estimate its posture because of its high dimensionality and self-occlusion from a point of view. In this thesis, we use KINECT to observe a human hand. The color image is obtained from the RGB camera and the depth information from the IR sensor. By preprocessing two images from the observed hand and a 3D model, we obtain comparable information and the discrepancy between the two sides is defined to be a cost function of the optimization problem. The object being observed can have any shape of appearance and the system simply outputs the figure which is extracted by evaluating its degree of dissimilarity. Therefore, the system is robust to variation of hand appearances.
The entire process of the proposed system for estimating a hand posture is mainly based on the optimization algorithm finding the best 20 parameters of joint angles of 3D hand model. Since Particle Swarm Optimization algorithm has been proved to be an efficient search of near-optimal solution for high dimensional cost function with multiple local optima in many earlier studies, it is naturally adopted and modified to bring about better accuracy and performance. The inertia of the particles while searching on the global optimum is subject to be controlled by its “Phase Transitional Inertia”. Constriction can guarantee the stability of the PSO. Adaptive Constriction Method is make use of the two benefits together and proved to be positively effective on the accuracy of solutions.
A hand posture rendered with a set of 20 parameters of joint angles is determined with a 20 dimensional position of a particle. Hypothesis Pre-filtering is applied to improve performance and accuracy of the system. By reducing the number of hypotheses to be evaluated with the cost function, the same number of hypotheses can be operated in less time and more generations can be conducted in the same time.
가상의 3D 손 모델을 기반으로 실제 사람 손의 움직임을 KINECT로 관찰하여 최적화 알고리즘을 사용하는 방식으로 추적하고 손 모양을 정확히 추측해내는 방법에 대한 연구로서 Human Computer Interaction, 손의 동작 인식, 시연을 통한 로봇학습 등의 다양한 분야에서 활용 가능하다. 손은 사람이 음성이 아닌 동작으로 가장 많은 표현을 해낼 수 있는 신체의 일부분이다. 사람의 손과 같이 관절로 연결된 물체는 매우 복잡하게 움직이며 높은 자유도와 한 시점에서 스스로 가려지는 문제로 인해 그 자세를 추정하기가 어렵다. 본 논문에서는 우리는 KINECT를 사용하여 사람의 손을 관찰하여 RGB 카메라와 IR 센서로부터 컬러이미지와 깊이 정보를 각각 얻는다. 관찰된 손과 가상의 3차원 모델에서부터 얻은 두 이미지를 사전 처리함으로써 비교 가능한 정보를 얻을 수 있고, 양 측간의 차이가 최적화 문제의 비용 함수로 정의 된다. 관찰되는 물체의 생김새의 모양에 관계 없이 시스템은 간단히 불일치도를 평가해서 추출한 숫자를 출력한다. 따라서, 시스템은 손의 생김새의 변화에 강인하다.
손의 자세를 추정하기 위해 제안되는 시스템의 전체적인 프로세스는 주로 3차원 모델의 20개의 최적의 관절 각 값을 찾는 최적화 알고리즘에 기초한다. PSO는 기존의 많은 연구에서 여러 개의 지역 최적점들이 존재하는 높은 차원의 비용 함수의 최적에 가까운 솔루션을 효과적으로 찾을 수 있다고 증명되어 왔기 때문에 자연스럽게 선택되었고, 그 정확도와 성능을 높이는 방향으로 수정되었다. 전역 최적의 값을 찾는 동안 입자의 관성은 Phase Transitional Inertia에 따라서 조절되고, Constriction은 PSO의 안정성을 보장할 수 있다. 적응성 Constriction 방법은 이 두 장점을 모두 취하는 것으로 정확한 솔루션을 찾는 것에 긍정적인 영향을 미치는 것을 검증하였다.
하나의 손의 자세는 20개의 관절 각들의 조합이며 이는 20차원상의 입자 위치에 의해서 결정된다. Hypothesis Pre-filtering는 시스템의 성능과 정확도를 향상시키기 위해 적용된다. 3차원 손 모델에 인간의 손이 취할 수 없는 제한된 관절각과 교차검출 알고리즘으로 가설의 개수를 줄임으로써 더 짧은 시간 내에 같은 개수의 가설을 처리거나, 같은 시간 내에 더 많은 세대를 진행할 수 있었고, 이를 실험을 통해 검증하였다.
