Point cloud descriptors, which represent the characteristics of a point cloud data numerically, are the fundamental elements in many 3D vision applications. Although traditional point cloud descriptors that are handcrafted or learned with machine learning techniques have been used in many vision applications, their performances are still affected by environmental conditions of targeting applications and the specification of a sensor used, which is known as generalization problem. Particularly for 3D applications, it is still challenging to handle high noise and variance in 3D data. Recent works have applied deep learning techniques for developing point cloud descriptors to resolve this difficulty, but they lack consideration of practical problems in using point cloud descriptors in robot applications. Especially when an application has a high variance of viewpoint and sensing distance, the point density of the same surface of an object is varied. Then, the performance of the system may be deteriorated because a descriptor cannot return consistent description.
To secure applicability of a point cloud descriptor to robot applications, this study aims for developing a novel point cloud descriptor that satisfies following conditions. 1. It should be able to handle noise characteristics that appear in the real world. 2. It is assumed that no object models are pre-given. 3. It should be applicable to point cloud directly without a pre-process like mesh construction. 4. It should show consistent performance on the variation of point density. 5. It should show better performance than other descriptors proposed by researchers. 6. Its feasibility to robot applications should be confirmed in an aspect of computational cost.
As the first step for the above objectives, public 3D databases are surveyed and their applicability for this research is checked. Because there is no public database that includes images of various point density, point cloud images are collected and detailed process of collecting is studied. In the second step, algorithms that fill up missing topology information and convert it into a structured data representation that can be used as input to a neural network are proposed. The comparison between the algorithms is proceeded. Thirdly, the effect of domain-adversarial feature learning is examined to secure the consistency of the description on the variation of point density. In the fourth step, the performance of the proposed descriptor is compared to the ones proposed by other researchers. These are Point Feature Histogram(PFH), Fast Point Feature Histogram(FPFH), Spin Image, Signatures of Histograms for OrienTations(SHOT), Point Pair Feature(PPF), Local Voxelized structure(LoVS), Local Feature Statistics Histgoram(LFSH), 3D Histgoram of Point Distribution(3DHoPD), 3dMatch, PointNet, and PointNet++. The result proved that the proposed descriptor outperforms than the others for five test datasets; images with low density, images with medium density, images with high density, images acquired by other sensor and images acquired in another environment. In addition, the robust performance to the variation of interest volume size and noise level is confirmed. Lastly, robot applications with the proposed descriptor are implemented to show its feasibility.
포인트 클라우드 이미지의 특성을 수치적으로 표현해주는 point cloud descriptor는 많은 3D 비전 어플 리케이션의 기초적 요소 중 하나이다. 때문에 많은 연구자들이 직접 point cloud descriptor를 디자인하거나 기계학습 기법을 이용하여 개발해왔고 많은 어플리케이션에 활용하여 그 가치를 보여주었다. 하지만 이 들은 여전히 어플리케이션의 작동 환경이나 사용되는 센서의 종류 등에 의해 성능이 영향을 받는 일반화 (generalization)의 문제를 안고 있으며, 특히 노이즈의 영향이 상대적으로 큰 3차원 데이터에 대해 강인한 point cloud descriptor를 개발하는 것은 여전히 도전적인 과제로 남아있다. 최근의 연구들이 이러한 문제를 해결하기 위해 딥러닝 기법들을 이용하여 point cloud descriptor를 개발하고 있으나, 이들은 대부분 로봇 어플리케이션의 현실적인 문제를 다루지 못하고 있다. 특히 사물의 이미지를 취득하는 viewpoint나 sensing distance의 변화가 큰 어플리케이션의 경우, 사물의 동일한 표면일지라도 point cloud 데이터의 점밀도는 변화하게 되며 이는 결국 일관적인 description을 방해하여 전체 시스템의 성능에 악영향을 미치게 된다.
본 연구에서는 실제 로봇 어플리케이션에서 사용성을 확보하기 위해 다음의 조건을 충족하는 point cloud desciptor를 개발하는 것을 목표로 한다. 1. 실환경에서 나타나는 노이즈의 경향성을 반영하여 일반화 해야한다. 2. 사물 모델이 미리 주어지지 않은 상황을 가정한다. 3. mesh construction등의 process를 거치지 않고 포인트 클라우드 데이터에 바로 적용될수 있어야 한다. 4. 포인트 클라우드 데이터의 특징 중 하나인 가변적 점밀도(카메라 센서와 사물 사이의 거리, 카메라 센서의 해상도에 의해 같은 사물을 표현하는 포인 트의 갯수가 달라지는 특징)에 대해 일관된 성능을 보여야 한다. 5. 기존에 개발된 point cloud descriptor 에 비해 나은 성능을 보여야 한다. 6. 연산량, 연산 속도 등의 측면에서 실제 로봇 어플리케이션에서 적용 가능해야한다.
위 목표를 달성하기 위한 첫 단계로, 포인트 클라우드 이미지 데이터셋 구축에 대해 다룬다. 다른 연구자 들에 의해 공용으로 공개된 데이터에 대해 조사 및 분석하여 본 연구의 목적에 대한 활용 가능성을 확인한다. 또한 공용데이터셋이 다양한 점밀도의 이미지를 가지고 있지 못한 점을 보완하기 위한 자체 데이터 수집에 대해 다룬다. 두 번째 단계에서는 포인트 클라우드 데이터에 부족한 topology 정보를 채움과 동시에 뉴럴 네 트워크의 입력으로 사용될 수 있는 정규화된 데이터 표현(structured data representation)으로 변환하는 알 고리즘들을 제시하며, 각 알고리즘과 3D Siamese Convolutional Neural Network(CNN)를 연계하여 성능의 비교를 다룬다. 세 번째는 가변적 점밀도에 대한 일관성을 확보하기 위해 도메인-적대 특징점 학습(DomainAdversarial Feature Learning)을 적용하고 그 효과 및 성능을 확인한다. 네 번째 단계에서는 본 논문에서 제안된 새로운 point cloud descriptor와 다른 연구자들에 의해 제안된 Point Feature Histogram(PFH),Fast Point Feature Histogram(FPFH), Spin Image, Signature of Histogram for OrienTations(SHOT), Point Pair Feature(PPF), Local voxelized Structure(LoVS), Local Feature Statistics Histogram(LFSH), 3D Histogram of point distribution(3DHoPD), 3DMatch, PointNet, PointNet++와의 성능 비교를 수행하였 으며 비교 결과는 제안된 point cloud descriptor의 우수성을 입증한다. 특히 총 5개의 평가 데이터셋(낮은 점밀도를 가지는 데이터셋, 중간 정도의 점밀도를 가지는 데이터셋, 높은 점밀도를 가지는 데이터셋, 학습 데이터 수집에 사용된 센서와 다른 센서를 이용하여 구축한 데이터셋, 수집환경과 센서가 모두 다른 데이터 셋)에 대해 일관적으로 더 나은 성능을 보임을 확인하였다. 또한 관심 영역의 크기 변화, 데이터의 노이즈,가려짐에 대해서도 강건한 성능을 보임을 확인하였다. 마지막 챕터에서는 제안된 point cloud descriptor를 실제 환경에서의 로봇 어플리케이션에 적용하여 feasibility를 보인다.