For a robot manipulator to effectively manipulate a target object, recognition of target objects placed in the workspace of the robot manipulator is essential. In this thesis, we construct a robot system using one robot manipulator and a RGB-D sensor attached to the end effector of the robot manipulator. Before this robot system manipulates the target object, it scans the target objects placed in the workspace. At this time, we can obtain the robot joint angles and RGB-D data. By using all these sensor data, we propose a method to prepare a basis for robot manipulation on the multi-object by detecting and estimating the 6D object poses placed in the workspace. The technical summary of this thesis is as follows.
First, we propose a method for the 6D object pose estimation. To effectively manipulate an object in 3D space, estimating the orientation of the target object is more crucial than the translation of the target object. Therefore, we introduce a new concept explaining the orientation of the object, a rotation primitive. The rotation primitive concentrates and emphasizes the orientation information. Using this rotation primitive, we propose a novel 6D object pose estimation method called PrimA6D. In the experimental result, we verified that the proposed method performs better than other existing methods in the benchmark dataset.
Second, we propose an ambiguity-aware 6D object pose estimation method, PrimA6D++, as a generic uncertainty prediction method. In the object pose estimation field, we usually considered two types of objects; asymmetric objects and symmetric objects. For most cases of asymmetric objects, all three rotation axes can be uniquely defined, so there is no posture ambiguity. For the symmetric objects, we cannot define the rotation axes uniquely, but can only define a dominant axis. To solve this problem, most existing methods provide prior information on the object shape in advance, which is arduous to obtain in reality. Furthermore, there are cases in which an asymmetric object appears as a symmetric object due to camera viewpoint change. Therefore, a generic method for ambiguity-aware 6D object pose estimation could be more viable in the field of robotics when such prior information is unavailable. In this thesis, we propose a new network that predicts three rotation axis primitive images, each corresponding to the orientation axis of the object. In addition, the uncertainty for each rotation axis primitive image is estimated via unsupervised learning. Based on these uncertainties, we discern object ambiguity caused by shape symmetricity and occlusion by rejecting unreliable rotation axis primitive images. For the evaluation, we present examples of awaring the object ambiguity, and we verified that the proposed method performs better than other existing methods in the benchmark dataset.
Third, we formulate the problem as Object-SLAM by introducing the camera pose factor and object pose factor to refine the multi-object poses with camera poses. In the evaluation, we verified that the proposed method performs better than other existing methods in the benchmark dataset. We demonstrate real-time scene recognition capability for visually-assisted robot manipulation.
Fouth, By using a robot system which composes a robot manipulator and a RGB-D sensor, we execute the robotic pick-and-place in real-world. We verified the the method presented in this study can be easily used for robotic pick-and-place.
로봇 매니퓰레이터가 대상 객체를 효과적으로 조작하기 위해서는 로봇 매니퓰레이터의 워크스페이스 안에 놓여있는 다수의 대상 객체들에 대한 인지가 필수적으로 요구된다. 본 논문에서는 1대의 로봇 매니퓰레이터와 로봇 매니퓰레이터의 엔드 이펙터에 부착되는 RGB-D 센서를 이용하여 시스템을 구성하였다. 이 로봇 시스템이 대상 객체를 조작하기 전에, 워크스페이스 안에 놓인 대상 객체들을 스캔하는 과정을 가진다. 이때, 로봇 매니퓰레이터에 부착된 센서를 통해 로봇 매니퓰레이터의 각 관절의 각도 정보와 RGB-D 센서를 통해 시각적인 정보를 얻을 수 있다. 이 센서 데이터들을 손실없이 모두 활용하여, 워크스페이스 안에 놓인 다중 객체들을 인식 및 자세 추정을 통해 로봇 매니퓰레이터의 객체 조작을 위한 기반을 마련하는 방법을 제안한다. 본 학위논문의 기술적 요약은 아래와 같다.
첫번째로, RGB 이미지만을 이용한 대상 객체 인식 및 자세 추정 방법을 제안하였다. 로봇 그리퍼를 통해 3차원 공간에서 객체를 효과적으로 조작하기 위해서는 대상 객체의 회전 정보를 위치 정보보다 정확하게 파악할 필요가 있다. 이를 위해, 로테이션 프리미티브라는 개념을 새로 도입하여, 대상 객체의 자세 정보중 회전 정보에 더 집중할 수 있는 새로운 방법을 제시하였다. 본 연구의 성능검평가를 위해 벤치마크 데이터셋에서 다른 비교 대상 알고리즘들 보다 높은 성능을 가지는 것을 검증하였다.
두번째로, RGB 이미지만을 이용하여 대상 객체가 가지는 자세 모호성을 판별할 수 있는 방법을 제안하였다. 일반적으로, 대상 객체는 그 형태에 따라 비대칭 또는 대칭 형태로 나뉜다. 비대칭 객체의 경우 3개의 회전 축을 모두 유일하게 정의할 수 있어서 자세 모호성이 존재 하지 않는다. 대칭 물체의 경우, Z축을 제외한 나머지 2개의 축을 유일하게 정의할 수 없는 경우가 대부분이다. 기존 방법들은 이를 대처하기 위해 사전에 미리 대상 객체의 형태 정보를 제공해 주고 있다. 하지만, 이는 실제 로봇 어플리케이션에서 적용하기 어려운 부분일 뿐 아니라, 카메라의 시점 변화로 인해 비대칭 물체가 대칭 물체로 보이는 경우가 존재한다. 본 논문에 서는 이를 해결하기 위해, 로테이션 프리미티브를 확장하여 로테이션 프리미티브 뿐만 아니라, 그에 해당하는 불확실성 추정을 함께 수행하여 대상 객체가 가지는 자세 모호성을 어떠한 사전정보 없이 판별할 수 있는 방법을 제안하였다. 본 연구가 제안하는 방법이 대상 객체의 자세 모호성을 판별하는 예시를 제시하였고,벤치마크 데이터셋에서 다른 비교 대상 알고리즘들 보다 높은 성능을 가지는 것을 검증하였다.
세번째로, 로봇 시스템에서 얻은 이종의 센서 데이터를 융합 및 최적화하는 방식을 Object-simultaneous localization and mapping (SLAM) 문제로 표현하여 다중 객체 인식 및 자세 추정을 수행한 방법을 제시하였다. 본 연구의 성능검평가를 위해 벤치마크 데이터셋에서 다른 비교 대상 알고리즘들 보다 높은 성능을 가지는 것을 확인하였고, 실제 환경에서 작동하는 데모를 통해 검증하였다.
네번쨰로, 본 연구에서 구성한 로봇 시스템을 이용하여 실제 환경에서의 물체 조작 작업을 수행하여, 본 연구를 통해 제시한 방법이 로봇을 이용한 물체 조작 작업에 용이하게 사용될 수 있다는 것을 검증하였다.
