As robotic systems advance, it has been issued to manipulate various types of objects in various environment scenarios using the same robotic platform. To do that, estimating poses of objects is the pose important problem. However, robust object pose estimation in various types of environment is challenging problem. In the present thesis, I suggest robust pose estimation methods for different types of objects by using a multi-modal sensor system, an integration of RGB camera and 3D scanner. More specifically, pose estimation methods for door handles, debris, and rigid body objects are suggested. The suggested methods employed minimal human interaction in multimodal data space as well as objects priors. In addition, the 2D/3D calibration method is suggested to integrate the two sensors. The results of the experiments demonstrate the robustness of the proposed methods. Moreover, as a real-world application the suggested methods is employed as the vision system of a complete full size humanoid robot. The practical demos further validate the robustness and performance of the proposed methods.
로보틱스 시스템이 발달함에 따라서 단일 플랫폼으로 다양한 환경에서 다양한 물체를 조작하는 것이 중요해졌다. 로봇이 물체를 조작하기 위해서는 물체 놓여진 환경에서 그 물체의 자세를 추정하는 기술이 반드시 요구된다. 하지만 다양한 형태의 환경에 대해서 안정적으로 물체의 자세를 추정하는 것은 어려운 문제이다. 본 연구에서는 멀티 모달 센서를 이용해 다양한 형태의 자세를 안정적으로 추정하는 방법을 제안하였다. 여기서 멀티 모달 센서란 두 가지 이상의 다른 데이터를 생산하는 센서를 융합한 시스템을 말하며, 비디오카메라와 3차원 레이저센서를 융합한 시스템이 본 연구에서 사용되었다. 본 연구에서는 특히 문고리와 나무 잔해 및 임의의 강체에 대한 물체 추정 방법을 제안하였다. 이를 위해 물체의 형태에 대한 정보뿐만 아니라 최소 수준의 사람 상호작용을 이용하였다. 비디오카메라와 3차원 레이저센서를 효과적으로 융합하기 위해서 2차원-3차원 교정방법을 제안하였다. 일련의 실험을 통해 본 연구에서 제안한 2차원-3차원 교정방법 및 물체 추정 방법의 성능을 평가하였다. 실험의 결과들은 제안한 방법들이 안정적인 결과를 제공해 준다는 것을 뒷받침하였다. 게다가 본 연구에서 제안한 방법으로 실세계 문제를 다루기 위해 사람 크기의 인간형 로봇에 본 연구에서 제안된 시스템을 실제로 적용하였다. 다양한 형태의 물체를 조작했던 로봇의 시연은 본 연구에서 제안한 방법의 실효성을 성공적으로 입증하였다.
