This thesis describes an omnidirectional object detection method from color, depth, and laser intensity information by fusing two different sensors, catadioptric camera and 3D LIDAR scanner. The main target is to detect pedestrians, cars, and other dynamic obstacles on the road for the self-driving car.
There are several stages to achieve this goal. The first step is to match two omnidirectional sensors. This process aligns camera and laser data into one image plane in real-time. The second step is to propose candidate regions. This process generates bounding boxes covering what likely to be objects. By using two different sensors, there are complementary combination strategies for object proposals with diversified image types. The final step is to classify the candidate regions with a multi-layer neural network.
The detection method is based on the use of Regions with Convolutional Neural Network (R-CNN) features, which is known as the state-of-the-art object detection method at this moment. The problem of R-CNN is that it takes long computation times over omnidirectional searches. By fusing two sensors, we reduced the number of candidate regions and the whole computation time under half, and achieved better performances in the outdoor environment.
The whole vision system described in this paper is applicable in a self-driving car and different types of Unmanned Ground Vehicles (UGVs). We collected omnidirectional dataset with color, depth, and laser intensity information, and verified the performance.
본 논문은 카타디옵트릭 방식의 카메라와 3차원 라이다 스캐너로 얻은 색상, 깊이, 레이저 세기 정보를 통한 물체 검출 기법에 대해 기술한다. 자율주행 자동차 연구와 관련하여, 보행자와 도로 상의 자동차 등을 주요 검출 대상으로 하였다.
이를 위해, 몇 가지 단계로 나누어 연구를 진행한다. 첫 번째 단계로, 두 전 방위 센서를 융합하도록 한다. 이 절차는 실시간으로 카메라와 레이저 데이터를 하나의 이미지 상으로 정합하는 과정이다. 두 번째로, 물체 검출을 위한 영역 제안을 수행한다. 이 과정에서 물체성을 보이는 부분의 영역을 생성한다. 두 센서를 융합함으로써, 다양한 이미지 공간 조합을 통한 상호 보완적인 물체 제안을 수행할 수 있다. 마지막 단계는 심층 신경망을 을 통한 물체 인식 과정이다.
본 기법은 현재 물체 검출 대회에서 최상의 성능을 보이는 Regions with Convolutional Neural Network (R-CNN) 기법을 기반으로 한다. R-CNN의 단점으로는 전 방위 이미지 탐색에 대해 계산 시간이 오래 걸리는 특징이 있다. 본 연구에서 두 센서를 융합함으로써, 제안된 영역 수와 계산 시간을 절반 이하로 줄였으며, 외부 환경에서 강인한 결과를 생성하였다.
전체 센서 시스템은 무인로봇과 자율주행 자동차에 적용하도록 설계하였다. 색상, 깊이, 레이저 세기 정보를 포함한 전 방위 이미지 데이터 셋을 생성하였고, 제안된 기법의 검출 성능을 평가하였다.
