Following considerable development in 3D scanning technologies, many deep learning studies have recently been proposed with various approaches for 3D vision tasks. Also, in order to make practical use of these methods, the importance of a lightweight model with an efficient system is increasing. Therefore, we focus on data compression and model compression in 3D vision. In this thesis, we firstly proposed a novel framework and an effective auto-encoder architecture for data compression. Unlike existing studies that used fixed or random 2D points, our framework facilitates point cloud reconstruction by generating input-dependent point-wise features for the latent point set. Our method shows state-of-the-art performances in point cloud reconstruction and unsupervised classification, and achieves comparable performance to counterpart methods in supervised completion. For model compression, we revisit the basic concept of knowledge distillation and compare three losses derived from measures that calculate the similarity between the teacher prediction and the student prediction: Kullback-Leibler divergence (KLD), mean squared error (MSE), and cosine similarity (CS) losses. Unlike previous studies concerned with KLD and MSE losses that transfer the teacher logit values, we explored the possibility of the CS loss transferring the direction of the teacher logit. The CS loss achieved performance comparable to state-of-the-art with superior efficiency in terms of training time and the number of parameters. We finally applied knowledge distillation using the CS loss to 3D models to perform model compression.
최근 3차원 스캐닝 기술의 발전으로 인해 2차원 컴퓨터 비전을 넘어 3차원 비전에서도 많은 딥러닝 기법들이 제안되고있다. 또한 이러한 방법들을 실제적으로 활용하기 위하여 경량화 모델과 효율적인 시스템의 중요성이 대두되고 있다. 이로 인해 본 논문에서는 3차원 비전에서의 데이터 압축과 모델 압축에 집중하여 연구를 진행하였다. 우리는 첫째로 데이터 압축을 위한 새로운 프레임워크와 효과적인 오토인코더 구조를 제안하였다. 고정되거나 임의의 2차원 포인트 좌표로부터 포인트 클라우드를 복원하는 기존의 방식들과는 달리, 우리의 프레임워크는 각 포인트에 대해 인풋의 정보를 갖고 있는 피쳐를 생성하여 이로부터 포인트 클라우드의 복원을 진행하게 된다. 제안된 방식은 효율적이면서도 높은 포인트 클라우드 복원 성능을 보였을 뿐 아니라, 비지도 분류 및 지도 완성 작업에 대해서도 기존의 다른 방법들과 비교할 만한 성능을 달성하였다. 우리는 또한 모델 압축을 위해 지식 증류의 기본 개념으로 되돌아가 사용할 수 있는 세 가지 손실 함수인 쿨백-라이블러 발산, 평균 제곱 오차, 코사인 유사도에 대해 비교하였다. 쿨백-라이블러 발산과 평균 제곱 오차 손실 함수에 집중하던 이전 연구들과 달리, 우리는 코사인 유사도 손실 함수의 가능성에 집중하여 실험을 진행하여 훈련 시간 및 매개 변수 수 측면에서 우수한 효율성으로 최첨단 수준의 성능을 달성함을 보였다. 우리는 최종적으로 코사인 유사도 손실 함수를 사용한 지식 증류를 3차원 모델에 적용하여 모델 압축을 수행하였다.
