A time-of-flight sensor is one type of 3D range sensors. It enable us to capture the depth-map at a high frame rate to obtain 3D information. However, its depth-map is highly contaminated by noise like flying pixels, holes, and etc. These defects reduce the quality of 3D reconstructed scenes. To overcome these vulnerabilities, the spatial filters are frequently employed. But, the scale of the filter should be adaptively applied according to the noise characteristics.
In this thesis, it is proposed and validated that machine learning based scale adaptive filtering framework to remove and refine the artifacts not only on depth-maps, but also 3D reconstructed scenes. To train sensor noise characteristics, numerous datasets are acquired, and new features and reliability scores are defined. In addition, its information is trained by a random forest regressor. Finally, the weighted joint bilateral filter and the Markov Random Field based optimization algorithm are used to deal with the noisy depth-map.
The proposed framework demonstrated the refinement of depth-maps, 3D reconstruction of many scenes, and dynamic scene reconstruction using the ICP (Iterative Closest Point) algorithm. Additionally, the effectiveness of the proposed feature expressivity is validated by material classification.
Time-of-Flight 센서는 삼차원 거리 센서 중 하나이다. 이 센서는 삼차원 정보를 깊이 정보를 통해 높은 프레임 획득 속도로 얻을 수 있다. 그러나 이 깊이 정보는 플라잉 픽셀이나 구멍과 같은 노이즈가 많다. 이러한 취약점을 극복하기 위해, 공간적인 필터가 주로 적용된다. 하지만 노이즈 특성마다 필터의 크기를 다르게 정해줘야하는 문제가 있다.
이 논문에서는 이러한 결점을 제거하기 위해 기계 학습을 기반으로한 크기 적응형 필터 처리 방법을 제안하고 검증한다. 센서의 노이즈 특성을 학습하기 위해, 다양한 데이터 집합을 촬영하고, 새로운 특징량과 픽셀 기반의 신뢰도를 정의한다. 게다가 이러한 정보들을 랜덤 포레스트를 이용하여 학습한다. 최종적으로 가중 결합 양방향 필터와 최적화를 통해 노이즈를 제거하도록 한다.
제안한 필터 처리법은 다양한 장면의 깊이 정보 개선과 3차원 복원, 그리고 ICP를 이용한 동적 영상 3차원 복원으로 그 성능을 검증한다. 게다가 제안된 특징량의 재질 표현성을 재질 분류기로 검증하도록 한다.
