This dissertation considers a 3D object detection and instance segmentation method based on point clouds. 3D object detection is a task that predicts bounding boxes including objects in point cloud datasets. 3D instance segmentation is a task that segment each pixel or point into a object that the point belongs to. Despite several previous works, these tasks have some limitations : (1) While PointNet-based permutation-invariant network extracts features of point cloud for object detection, independent network are used to extract the feature of grouped points without interaction between grouped points. (2) Bounding box detection is sensitive to rotation error and translation error for flat objects. (3) Incorrect semantic prediction propogates to final instance prediction in one-hot semantic based grouping instance segmentation. To mitigate these problems, we propose (1) Group-Point Attention(GPAN) to enhance feature representation of 3D point clouds, adapting cross-attention between base point and grouped points to encourage interaction. (2) SphereSeg by predicting spheres replacing bounding boxes that are invariant to object orientation and more robust to localization error. (3) SoftGroup to improve the quality of instance proposals, further refine proposals for accurate 3D instance segmentation. Experiments on various 3D point cloud datasets show the efficacy of the proposed methods.
본 논문에서는 3차원 점구름 데이터셋을 활용한 딥러닝 기반 객체 탐지 및 객체 분할 기법에 대해 다룬다. 객체 탐지 기술은 주어진 시각 데이터셋을 활용하여 해당 데이터 내에 존재하는 물체들을 찾아내어 해당 물체를 포함하는 박스를 예측하는 기법이며, 객체 분할 연구는 데이터 내에 존재하는 물체를 픽셀, 혹은 점 단위로 구분해내는 기법이다. 3차원 점구름 데이터셋 기반 객체 탐지 및 객체 분할 연구가 많이 진행되었지만 다음과 같은 문제점들을 내포하고 있다. (1) 치환-불변한 포인트넷 기반의 데이터 특징 추출 네트워크를 통해 객체 탐지 시 점들을 그룹화하여 특징을 추출하는 과정에서 지역적 정보 학습과 그룹화된 점들간의 상호작용 없이 특징을 추출해낸다. (2) 3차원 점구름 데이터셋 기반 박스를 사용한 객체 탐지시 얇은 물체들을 탐지할 때 이동오차 및 회전 오차에 민감하다. (3) 단일 클래스 예측 정보를 기반한 그룹화 기법은 분류 예측 오류가 최종 객체 분할로 전파된다. 이러한 문제점들을 해결하기 위해 본 연구는 (1) 점구름 데이터셋에서 기반 점들을 선별하고 해당 점으로부터 가까운 거리에 있는 점들을 그룹화하여 정보를 추출하는 과정에서 그룹화된 점들의 특징정보를 기반 점을 기준으로 어텐션 기법을 적용하여 상호작용된 특징 정보를 추출한다. (2) 구체를 통한 객체 탐지를 통해 이동오차 및 회전오차의 영향을 줄이고 더 나아가 이를 기반한 객체 분할 연구를 진행한다. (3) 다중 레이블 기반 그룹화 기법을 통해 그룹화 기반 객체 분할 기술의 성능을 향상시킨다. 해당 기법들은 3차원 벤치마크 데이터셋을 사용해 언급된 문제점들을 해결하고 기존의 연구들과의 비교를 통해 우수성을 증명한다.
