Recent advances in deep learning have led to a number of object recognition studies in images, but many problems have not been attempted on how to recognize objects placed in a real 3D world rather than a 2D plane. In this thesis, we propose methods for human-like 3D object pose estimation for two environments. To be specific, We propose the deep learning-based object pose estimation methods considering cases where objects that are already known and have never been seen before but have seen similar classes before.
In recent years, methods for estimating the pose of known objects have been proposed. However, existing methods use the global features to estimate the pose, so if an object is obscured by other objects, performance is significantly degraded by estimating the pose using global features that are not related to the objects. To tackle this problem, we propose the pose estimation method using only local features and angle vectors of visible object regions. In particular, since it estimates using only the information most relevant to the pose of the object, it shows accurate pose estimation, unlike other methods. The angular vector we proposed is not affected by the scale information and can focus more on the direction, and is influenced less by the size information than other expressions.
Unlike when grasping an object that is already known, to grasp a new object in general, information such as the pose of the object as well as what the metric scale object looks like is additionally required. In other to implement this, we propose the method of simultaneously estimate the pose and metric scale shape of a new object. Our method estimates by considering the shape of the part that is not visible from the sensor.When grasping, a metric scale object is very useful in estimation pose, preventing collision, and finding grasping the points. For this reason, we propose the object shape branch to estimate the metric scale shape effectively. Experiments show that the proposed shape is helpful for the pose of objects.
최근 딥러닝의 발전으로 인해 이미지상에서 물체 인식 연구들은 많이 진행되었지만, 평면이 아닌 실제 3차원 세상에 놓인 물체를 어떻게 인식하는지에 대한 문제들은 많이 시도되지 않았다. 본 석사 학위 논문에서는 2가지 환경에 대해서 사람처럼 3차원에서 물체를 인식하고 자세를 추정하여 로봇 파지에 사용할 수 있는 방법을 제안한다. 구체적으로 인식하려는 물체를 이미 알고 있는 경우와 한 번도 보지 못한 물체이지만 비슷한 클래스를 이전에 본 적 있는 경우를 고려하여 딥러닝 기반의 물체 자세 추정 알고리즘 방법론을 제안한다.
최근 몇 년간, 이미 알고 있는 물체에 대한 자세 추정 방법들이 제안되어 왔다. 하지만 기존의 방법들은 글로벌 정보를 활용하여 자세를 추정하기 때문에 물체가 무언가에 의해 가려졌을 때 물체와 관련 없는 정보도 사용해 자세를 추정하기 때문에 큰 성능 저하를 보여주었다. 이러한 문제점을 해결하기 위해서 로컬한 정보, 가려지지 않은 부분의 각도 정보만 활용한 자세 추정 방법을 제안한다. 특히 물체의 자세와 가장 관련 있는 정보만을 사용해 자세를 추정하기 때문에 가려진 상황에서도 다른 방법론들과는 달리 정확한 자세 추정을 보여주었다. 우리가 제안한 각도 벡터는 물체의 크기 정보에 영향 없이 방향에 더 집중할 수 있으며 이러한 표현은 물체의 크기 정보에 영향을 받는 다른 표현보다 효과적임을 보여준다.
이미 알고 있는 물체를 파지 할 때와는 달리, 새로운 물체를 일반적으로 파지하기 위해서는 물체의 자세뿐만 아니라 실제 물체가 어떻게 생겼는지와 같은 정보가 추가로 필요하다. 이러한 경우를 고려하여 새로운 물체, 즉 보지못한 물체의 자세와 실제 형태를 동시에 추정하는 방법을 제안한다. 우리의 방법은 센서에서 보이지 않는 부분에 대한 형태도 고려하여 추정한다. 파지를 할때 이러한 물체 정보는 자세 추정, 충돌 방지, 파지 지점을 찾는데 큰 도움을 주며 해당 논문에서는 효과적으로 형태를 추정하는 방법을 제안한다. 제안된 형태는 자세를 추정하는데도 도움을 주는 것을 실험을 통해 보여준다.