Robust object recognition is a key component for robots and autonomous vehicles operating in real world environments. A Range finder such as LiDAR is an increasingly common choice of a sensor for modern and future robotic systems, providing a rich source of 3D information. Even though 3D information is a crucial cue in object recognition, due to highly variable/sparse sensor measurement and a large amount of points, many previous approaches suffered from some troubles in efficiently handing data to recognize objects in real-time. In this thesis, we present a fast-but-accurate Two-Phase 3DNet by a compact network size with an embedded 2D/3D Convolutional Neural Network. Our network learns the distribution of complex 3D shape across different object classes with arbitrary poses from raw 3D LiDAR data. To efficiently train our 3D deep learning model, we develop a new volumetric representation for deformed/sparser 3D LiDAR data. We evaluate our approach on publicly available benchmarks using LiDAR, and CAD data to verify the feasibility of our proposed network model. Experiments show that our Two-Phase 3DNet enables significant performance improvement over the-state-of-the-art methods while estimating classes in real time.
전세계적으로 자율 주행 자동차 개발 경쟁이 치열 하다. 기존의 자동차 제조업체를 비롯 하여, 유수의 IT 기업들까지 활발 하게 연구 중이다. 주변 환경 인식은 자율 주행 자동차의 핵심 기술 중 하나이다. 주변 환경 인식을 위한 다양한 센서 중 3D LiDAR 는 360도 모두 감지 할 수 있고, 이를 통해 얻어진 3D 정보를 이용하여 직접적으로 혹은, 간접적으로 다른 센서와 함께 주변을 인식한다. 본 학위 논문에서는 이런 3D LiDAR 센서의 특성을 고려하여 물체를 검출하는 실시간성 알고리즘을 제안한다.
취득된 3D LiDAR 데이터를 분석하고, 이를 토대로 딥러닝 프레임워크에 최적화된 입력영상을 만들기 위하여 확률적인 모델링을 통한 3D 모델 표현 방법을 제한한다. Occupancy 를 Bernoulli 분포로 가정하고, 가상의 조사되는 빔 모델 개념을 도입하여, 실제 3D 정보에 빔이 지나가는 밀도를 확률적으로 추정한다. 이를 구하기 위해 Bernoulli 분포의 사후 확률과 Beta 분포의 확률 밀도 함수의 관계를 유도 하였다. 제안된 방법을 기존의 방법들과 비교 분석하는 실험을 통하여, 제안 된 방법론의 우수성을 검증하였다.
이를 토대로 불필요한 연산 없이 단일 3D LiDAR 정보량을 극대화 할 수 있는 딥러닝 모델을 설계하였다. 가공된 3D 모델을 입력하는 이용하는 하는 3D 딥러닝 모델과 3D 모델을 서로 다른 시점으로 투사시켜 만든 새로운 2D 데이터를 입력으로 이용하는 2D 서브 딥러닝 모델을 제안하였다. 서로 다른 모델을 효과적으로 결합하기 위하여, concatenated layer를 정의 하였으며, 이를 통하여, 3D/2D 이중 위상 기반의 딥러닝 모델을 제안한다. 실험적인 검증을 통하여, 기존의 최신 연구들 보다 높은 인식 성능을 보였으며, 더 나아가 제안하는 방법론이 3D CAD 모델을 기반으로 한 것이 아님에도 불구하고, 3D CAD 모델을 이용한 검증 실험에서도 높은 성능을 보임으로써 제안하는 네트워크의 우수성을 검증 하였다.
본 학위 논문에서 제안한 자율 주행 자동차를 위한 3D LiDAR 기반의 물체 인식 알고리즘을 하나의 완전한 시스템으로 완성시키기 위하여, 실제 환경에서 인식 하고자 하는 물체를 잘 분리해내는 방법을 개선 및 발전시켜 추가하는 방향으로 연구를 진행 할 예정이다.
