Most existing deep learning-based depth completion methods are only suitable for high (\eg 64-scanline) resolution LiDAR measurements, and they usually fail to predict a reliable dense depth map with low resolution (4, 8, or 16-scanline) LiDAR. However, it is of great interest to reduce the number of LiDAR channels in many aspects (cost, weight of a device, power consumption). In this paper, I propose a new depth completion framework with various LiDAR scanline resolutions, which performs as well as methods built for 64-scanline resolution LiDAR inputs. For this, I define a consistency loss between the predictions from LiDAR measurements of different scanline resolutions. (i.e. 4, 8, 16, 32-scanline LiDAR measurements) Also, I design a fusion module to integrate features from different modalities. Experiments show our proposed method outperforms the current state-of-the-art depth completion methods for input LiDAR measurements of low scanline resolution and performs comparably to the methods(models) for input LiDAR measurements of 64-scanline resolution on the KITTI benchmark dataset.
현재 제안된 모든 심층학습기반 LiDAR 정보를 활용한 깊이추정방법들은 64개의 채널의 해상도를 가진 LiDAR에 대해서만 적용이 가능하였으며, 더 적은 채널해상도를 가지는 LiDAR(4,8,16채널)에 대해 적용할 경우, 예측이 되지않아 실패하는 경우가 많다. 하지만 LiDAR의 가격, 무게, 에너지 효율등으로 적은 채널의 LiDAR도 다양한 활용의 가치가 높다. 본 논문은 적은 다양한 채널의 LiDAR 정보를 기존 64채널 정보를 이용한 깊이 추정정도의 성능을 이끌어내는 새로운 방법에 대해 제안을 한다. 적은 채널에 대해서도 가능하도록 우리는 서로 다른 채널에 대한 LiDAR 입력에 대해 일관한 손실함수를 정의하였으며, RGB 이미지와 LiDAR 점구름의 정보를 혼합하는 새로운 네트워크 모듈을 및 네트워크 구조를 제안한다. 제안하는 프레임워크는 KITTI 데이터셋에서 실험하였으며, 적은 채널을 혼합하는 다른 방법보다 성능이 우수하며, 64 채널 LiDAR를 이용하여 깊이정보를 추정하는 다른 방법과 견줄정도의 성능을 가진다.
