This paper proposes a novel image processing network designed to enhance image contrast for improved performance in visual odometry. Pose estimation results in visual odometry are often susceptible to challenges arising from image illumination condition and the quantity of extracted features. To address these issues, the proposed network integrates dilated convolution layers and Convolutional Graphed Recurrent Units (GRU), leveraging spatio-temporal information within the image sequences. Significantly, the loss function is delicately designed to enhance image contrast while preserving both structural and sequential informational content during training. Leveraging SSIM loss, contrast loss, and optical flow loss, the training process aims to enhance image contrast to amplify feature points while preserving innate image details, contributing to improved visual odometry results. The network’s training is conducted by unsupervised learning with a custom image dataset collected from alleys and parking lots inside the N1 building at KAIST. The proposed network has three principal contributions: robust tracking, enhanced accuracy, and real-time performance. Validation of the network’s performance contains a comparison of pose estimation results between raw and processed images using open-source visual SLAM. Robustness is validated through comparisons between raw and processed images, using sets of images acquired in tunnel environments. Tracking performance of visual slam has improved, demonstarting the ability of proposed network. The ETH3D dataset, a well-established benchmark, is also employed to validate the network’s enhanced tracking capabilities. Furthermore, the experiments utilizing KITTI dataset highlight an enhancement in accuracy of visual odometry, proving the network’s proficiency in enhancing the contrast of image. Lastly, a UAV flight experiment is conducted to validate the real-time applicability of the proposed network. Navigation, collision avoidance, and control modules are implemented in the embedded computer, proving real-time pose estimation results. This comprehensive examination demonstrates the ability of the proposed image processing network for enhancing visual odometry.
본 논문에서는 카메라 기반 위치 추정 알고리즘의 성능을 향상시키기 위해 이미지 대비를 강화하는 새로운 이미지 처리 네트워크를 제안하였다. 카메라 기반 위치 추정의 결과는 종종 이미지 조도 조건과 특징점의 양으로 인해 발생하는 문제에 영향을 받는다. 이러한 문제를 해결하기 위해, 제안된 네트워크는 확장된 합성곱 및 합성곱 게이트 순환 유닛을 활용하여 연속된 이미지의 시간-공간 정보를 활용하였다. 중요한 것은 손실 함수가 훈련 중에 이미지 대비를 향상시키면서 구조 및 순차 정보 내용을 보존하도록 세심하게 설계되었다는 것입니다. 특히, 이미지의 대비를 향상하면서도 구조적 및 시간 정보를 보존하기 위해 손실 함수가 정교하게 설계되었다. SSIM 손실 함수, 대비 손실함수, 그리고 옵티컬 플로우 손실 함수를 활용하여 이미지의 대비를 향상시키는 동시에 이미지의 내부 정보를 보존함으로써 카메라 기반 위치 추정의 성능을 향상시키고자 하였다. 네트워크의 학습은 KAIST의 N1 건물에서 취득한 데이터셋을 활용하여 비지도학습으로 이루어졌다. 제안한 네트워크는 강인한 추적, 정확도 향상, 그리고 실시간성 확보라는 세 부문에서 기여하였다. 제안한 네트워크의 성능을 검증하기 위해, 오픈 소스 카메라 기반 항법을 사용하여 원본과 처리된 이미지 간 위치 추정 결과가 비교되었다. 강건성은 터널 환경에서 획득한 이미지 세트를 사용하여, 원본과 처리된 이미지 간 추적 성능의 비교를 통해 입증되었다. 카메라 기반 항법의 추적 성능이 향상됨으로써, 제안한 네트워크의 강건성이 검증되었다. 또한 ETH3D 벤치마크가 추적 능력의 강건성을 확인하기 위해 사용되었다. 더하여, KITTI 데이터 세트를 활용하여 카메라 기반 항법의 정확도가 향상됨을 보임으로써, 제안한 네트워크가 이미지 대비 향상이 뛰어남을 보였다. 마지막으로, 제안된 네트워크의 실시간 적용 가능성을 검증하기 위해 UAV를 사용한 비행 실험이 진행되었다. 내비게이션, 충돌 회피 및 제어 모듈이 임베디드 컴퓨터에 구현되어 실시간 포즈 추정 결과를 보였다. 다양한 실험을 통해 카메라 기반 항법의 성능을 향상시키기 위한 제안된 이미지 처리 네트워크의 능력이 입증되었다.
