Performance of object detection using single images has been significantly improved by recent progress of artificial intelligence technologies. But, existing technologies focus on detecting objects in 2D images, which makes difficult to use it in real-world robot applications carrying out various tasks such as detecting objects, operating or avoiding them as well. Instead of the use of 2D images, 3D object detection is more suitable for such robot applications. Of course, research on 3D detection has been conducted in the academic community, but its performances do not reach that of 2D object detection as of yet. This is because 3D points from 3D scanner are too sparse to capture fine structured and small objects such as bicycle, person and road sign etc.
In this dissertation, we propose a Camera-LiDAR sensor fusion method for enhancing 3D object detection and pose estimation for robotic applications as twofold.
The first part of this dissertation is a 3D object proposal method which will reduce the search region of an object. By proposal of a region assumed to contain an object, rather than searching an entire area for the object, we can increase time efficiency and improve accuracy for detection. In this dissertation we propose a 3D object proposal, applying an object proposal used for a 2D image onto 3D dataset. The proposed 3D object proposal method shows higher recall with fewer number of proposals to that of 2D, by using discontinuity in 3D.
The second part is a depth completion which make dense depth maps from sparse 3D point measurements from LiDAR data. A major bottleneck in 3D object detection and pose estimation comes from the sparsity of the LiDAR sensor itself. The proposed method propagates initial sparse depth points into a corresponding image with a geometric consistency assuming that 3D points is perpendicular to the neighbor normal vector. In this step, we additionally propose an accurate surface normal estimation to handle over-smoothing artifact in depth boundaries. We demonstrate that the estimated dense depth maps benefit robotics applications in real-world environments. However, there is still problem of our depth completion in the computational complexity.
Finally, we propose a selective depth propagation method to resolve the computational complexity. Using our object proposal, we generate selective regions for depth completion, and then propagate sparse 3D depth into those regions. As a result, our unified method achieves reducing the computational time by 10 times compared to depth completion for whole image regions.
최근 인공지능 기술의 발전으로 인해 단일 영상을 이용한 물체 탐지 성능이 급격히 향상되었다. 이런 기술들은 주로 이차원 영상 상에서 물체의 위치 정보를 찾는 쪽에 집중되어 있다. 하지만 물체 탐지 및 조작·회피 등 다양한 작업을 진행해야 하는 로봇 응용에서는 이러한 기술을 직접적으로 활용하기 어렵다. 즉, 로봇 응용을 위해서는 삼차원 위치 정보에 기반한 탐지 능력이 필요하다. 학계에서는 이를 위한 연구도 진행이 되고 있지만 이차원 물체 탐지만큼의 성능을 보여주지 못하고 있다. 삼차원 정보는 센서의 특성상 이차원 영상만큼 해상도가 높지 못한데 비해 탐지 성공의 척도는 차원이 하나 더 높은 만큼 더 까다로운 기준을 갖기 때문이다.
본 학위 논문에서는 로봇 응용을 위한 삼차원 영상을 이용한 물체 탐지와 위치 추정의 성능 향상을 위한 카메라 라이다 센서 융합 방법을 제안한다. 제안하는 방법은 다음의 두 가지 요소 기술들로 구성된다.
첫 번째 요소 기술은 물체의 탐지 영역을 줄이기 위한 삼차원 데이터 상의 자동 물체 영역 제안 방법이다. 이미지 전 영역에서 물체를 찾기 보다 물체가 있을 것으로 추정되는 영역을 제안해 줌으로써 물체 탐지의 시간적 효율 증가와 탐지 정확도 향상 효과를 얻을 수 있다. 본 논문에서는 이차원의 이미지에서 적용되던 물체 영역 제안을 삼차원 데이터에 적용하여 삼차원 물체 영역 제안 방법을 제안하였다. 제안하는 삼차원 영역 제안 방법은 삼차원 공간 상의 불연속성을 이용하여 이차원에서 보다 더 적은 수의 제안으로 더 높은 정확도의 제안 성능을 보인다.
두 번째 요소 기술은 고해상도의 영상 정보를 이용하여 저밀도의 삼차원 라이다 정보를 고밀도화 하는 방법이다. 삼차원 물체 탐지 및 자세 추정에서 가장 큰 걸림돌은 라이다 센서 자체의 저밀도 정보로 인하여 탐지에 필요한 충분한 정보가 주어지지 않는다는 점이다. 우리는 삼차원 점에 대응하는 이미지 색 유사도와, 삼차원 점이 법선 벡터에 수직하는 방향으로 존재할 것이라는 기하학적 특성을 이용하여 저밀도의 삼차원 정보를 전파하는 방법을 제안한다. 이 과정에서 물체의 가장자리 법선 벡터의 정확도가 떨어지는 기존의 방식을 보완하기 위한 새로운 법선 벡터 추정법도 함께 제시한다. 이렇게 고밀도화 된 삼차원 정보의 정확도를 실제 로봇 환경에 적용하여 기존의 방법 대비 향상된 성능을 보였다.
마지막으로 위의 두 가지 요소 기술을 융합하여 선택적 삼차원 정보 고밀도화 방법을 제안한다. 삼차원 정보를 고밀도화하는 방법의 단점은 연산 시간이 오래 걸린다는 점이다. 이러한 단점을 극복하기 위해 물체가 있을 것으로 추정되는 영역에 대해서만 선별적 삼차원 정보 고밀도화를 진행하여 계산시간을 기존 방법론 대비 10배 감소 시킬 수 있었다.
