3D point cloud semantic segmentation in autonomous driving aims to extract useful information from 3D sensors and assist autonomous vehicles in performing downstream tasks based on the predicted class labels of point clouds. Thanks to advances in sensor technology and the improvement of deep learning techniques, this area has garnered increasing attention in recent years. However, outdoor 3D point clouds pose a significant challenge for deep learning approaches due to their unordered, sparse and irregular nature. In this dissertation, we investigate point cloud data preprocessing, feature representations, deep learning framework design and multimodal fusion to study single-modal and multimodal segmentation approaches. Specifically, we propose: 1) a rule-based ground segmentation approach that utilizes a bird’s-eye view (BEV) log-polar grid map and rule-based ground model algorithms for binary ground segmentation; 2) an efficient deep learning framework for ground segmentation called SectorGSNet, which employs a BEV log-polar transform and a lightweight network; and 3) a multimodal fusion semantic segmentation approach that leverages complementary data from LiDAR and RGB cameras for range-view based semantic segmentation.
3D 포인트 클라우드 의미론적 분할은 자율주행에서 3D 센서로부터 유용한 정보를 추출하고, 예측된 포인트 클라우드의 클래스 레이블을 기반으로 자율차량이 하위 작업을 수행할 수 있도록 지원하는 연구이다. 센서 기술과 딥러닝 기술의 발전을 인해 최근 이 분야에서 점점 더 많은 관심이 쏠리고 있다. 그러나 실외 3D 포인트 클라우드는 불규칙한 특징 때문에 딥러닝 접근법에서 어려움을 제기한다. 그래서 본 논문에서는 이 논문에서는 우리는 각종 포인트 클라우드 전처리 기술, 특징 표현, 및 모드 경합을 조사하여 싱글 모드 및 다중 모드 세그멘테이션 접근법을 연구한다. 구체적으로, 우리는 다음을 제안한다. 1) 규칙 기반 지면 분할: BEV log-polar 그리드 맵 및 지면 모델 알고리즘을 도입하여 지면 이진 분할 방법을 제안한다. 2) 딥러닝 기반 지면 분할 (SectorGSNet): BEV log-polar 전환과 효율적인 딥러닝을 적용한 지면 이진 분할 방법을 제안한다. 3) 다중 모드 융합 의미론적 분할: 보다 정확하고 강인적인 3D 의미론적 세분화를 생성하기 위해 LiDAR 및 RGB 카메라의 보완 데이터를 사용하여 Range-view 기반 의미론적 분할 방법을 제안한다.
