Underwater robot pose and odometry estimation has constraints that have to solve challenging sensor modalities. In this thesis, I propose the underwater vehicle odometry optimization and estimation method with neural network and opti-acoustic-inertial module configuration. Neural network-based style transfer enables feature detection and matching between optic and sonar images. Feature points are utilized for deriving the reprojection errors and extrinsic matrix between the sonar and camera. Robot pose estimation is accomplished with error factor minimization, and optimize the odometry with pose factor inserted graph simultaneous localization and mapping (SLAM). Also learning-based selective link proposal facilitates efficient SLAM processing. The complications came from sensor modality are overcame with style transfer method and opti-acoustic-inertial module configuration.
수중 환경에서의 로봇 자세 및 경로 추정은 지상보다 제약조건이 많다. 사용 가능한 센서가 한정되어 있음과 동시에 카메라 이미지의 광 조건, 소나 이미지의 노이즈 등 센서 별로 해결해야 할 과제들이 존재한다. 본 논문은 수중 로봇의 광-음향-관성 모듈을 이용한 경로 최적화 및 추정법을 제안한다. 스타일 변환 기반의 특징점 검출 및 매칭 방법을 이용하여 광학 이미지와 소나 이미지 사이의 관계를 특정했으며, 매칭된 특징점들을 이용해 카메라와 소나의 외부 행렬 및 재투영 오차를 계산하였다. 오차를 최소화하는 방향으로 최적화를 진행하였고, 그 결과 로봇의 자세 추정이 이루어졌다. 추정된 로봇의 자세를 그래프 슬램의 통제 요소로 사용함으로써 로봇의 경로를 추정할 수 있었다. 또한, 슬램의 효율성을 위해 딥러닝을 활용한 선택적 데이터 적용 방법을 제안하였다. 기존 소나 이미지에서는 특징점 검출이 매우 어렵다는 단점을 스타일 변환 기법을 통해 극복했고, 수중에서 사용할 수 있는 센서 종류 및 성능의 제약을 광-음향-관성 모듈의 제작으로 해결하였다.
