Accurate pose estimation is critical for many applications, including robotics, self-driving cars, and augmented
reality. However, current approaches to pose estimation often struggle to maintain accuracy over long periods of
time, particularly in the face of permanent changes to the environment. This is a significant limitation, as real-world environments are constantly changing, and poses need to be estimated accurately over long periods in order to enable reliable applications. This thesis proposes a novel approach to long-term visual localization (LTVL) toward a previously mapped environment to estimate the centimeter-accurate pose. To build a robust solution, we address the challenges of LTVL utilizing multiple techniques, including end-to-end learning, depth estimation, and relative pose estimation. We explore the combination of these techniques in a single framework. We also built our deep model with inspiration from traditional iteration-based approaches, allowing for greater generalizability, accuracy, and efficiency by building it within a Deep Equilibrium (DEQ) framework.
The main contributions of this work are as follows.
1. We propose a novel end-to-end model for long-term pose alignment using Transformer-based GRU updates within a DEQ framework. We design the model to take a query image as an input and multiple reference images to localize towards. An image-graph is constructed for effective message passing.
2. We study depth estimation in a stereo and monocular system while taking into account real-time speed, generalizability, and adaptability to environmental changes. In addition, the depth estimation module is used alongside a relative pose estimator within an iterative update framework to obtain the optimal value for both.
3. To achieve robust localization even when no landmark is present in the scenes, we unify the query sequence’s
long-term localization and relative poses.
4. We evaluate our approach in several challenging datasets and show that it can achieve state-of-the-art accuracy in pose estimation, even in scenarios with significant environmental variations. We also demonstrate the generalizability of our approach by applying it to a dataset collected by our lab around the KAIST main campus and the Munji campus.
Overall, our work makes contributions to the field of long-term visual localization and has the potential to enable a wide range of applications that require accurate pose estimation over long periods.
정확한 자세 추정은 로봇 공학, 자율 주행 차량 및 증강 현실과 같은 많은 응용 프로그램에 중요하다. 그러나 현재의 자세 추정 방법은 종종 오랜 시간 동안 정확성을 유지하는 데 어려움을 겪으며, 특히 환경의 영구적인 변화를 마주할 때 그렇다. 이것은 중대한 제한 사항이다. 실제 환경은 계속 변하고 있으며 자세를 오랜 시간 동안 정확하게 추정해야 신뢰할 수 있는 응용 프로그램을 가능하게 한다. 이 논문에서는 센티미터 정확한 자세를 추정하기 위해 이전에 매핑된 환경을 향한 장기 시각적 위치 결정 (LTVL)에 대한 새로운 접근 방식을 제안한다. 강건한 솔루션을 구축하기 위해, 우리는 LTVL의 도전 과제를 해결하기 위해 종단 간 학습, 깊이 추정 및 상대 자세 추정과 같은 여러 기술을 활용한다. 우리는 이러한 기술의 조합을 단일 프레임워크에서 탐구한다. 또한, 우리는 전통적인 반복 기반 접근 방식에서 영감을 받아 더 큰 일반화, 정확도 및 효율성을 위해 Deep Equilibrium (DEQ) 프레임워크 내에서 깊은 모델을 구축하였다. 이 작업의 주요 기여는 다음과 같다.
1. 우리는 DEQ 프레임워크 내에서 Transformer 기반의 GRU 업데이트를 사용하여 장기간의 자세 정렬을 위한 새로운 종단 간 모델을 제안한다. 우리는 이 모델을 설계하여 쿼리 이미지를 입력으로 사용하고 여러 참조 이미지를 향해 지역화한다. 효과적인 메시지 전달을 위해 이미지 그래프가 구축된다.
2. 우리는 스테레오와 모노큘러 시스템에서 깊이 추정을 연구하면서 실시간 속도, 일반화 및 환경 변화에 대한 적응성을 고려한다. 또한, 깊이 추정 모듈은 반복적인 업데이트 프레임워크 내에서 상대 포즈 추정기와 함께 사용하여 둘 다 최적의 값을 얻는 데 사용된다.
3. 장면에 랜드마크가 없을 때도 강건한 지역화를 달성하기 위해, 우리는 쿼리 시퀀스의 장기 위치 결정 및 상대 포즈를 통합한다.
4. 우리는 여러 도전적인 데이터 세트에서 우리의 접근 방식을 평가하고, 환경 변화가 큰 시나리오에서도 자세 추정에서 최첨단의 정확도를 달성할 수 있다는 것을 보여준다. 우리는 또한 KAIST 본 캠퍼스와 문지 캠퍼스 주변에서 우리 연구실에서 수집한 데이터 세트에 접근 방식을 적용하여 일반성을 보여준다. 총괄하자면, 우리의 작업은 장기 시각적 위치 결정 분야에 기여하며, 오랜 시간 동안 정확한 자세 추정이 필요한 다양한 응용 프로그램을 가능하게 할 수 있는 잠재력이 있다.
