서지주요정보
Robust visual place recognition-based localization for navigation and preclinical magnetic particle imaging = 네비게이션 및 전임상 자기 입자 이미징을 위한 강인한 시각적 장소 인식 기반의 위치 인식
서명 / 저자 Robust visual place recognition-based localization for navigation and preclinical magnetic particle imaging = 네비게이션 및 전임상 자기 입자 이미징을 위한 강인한 시각적 장소 인식 기반의 위치 인식 / Seung-Min Choi.
발행사항 [대전 : 한국과학기술원, 2023].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8040155

소장위치/청구기호

학술문화관(도서관)2층 학위논문

DPD 23001

휴대폰 전송

도서상태

이용가능(대출불가)

사유안내

반납예정일

리뷰정보

초록정보

Visual place recognition is a crucial research topic that can be utilized in various ways concerning location recognition in computer vision and robotics. This dissertation deals with a novel visual place recognition (VPR) method robust to urban environments crowded with dynamic objects. Furthermore, its key components are utilized for visual localization of navigation and distortion correction research of medical tomography images. First, we propose a robust visual place recognition method that suppresses the effect of dynamic objects by self-supervised learning in an urban environment with many dynamic things. Visual place recognition searches for images most similar to an input query image among a geo-tagged database and outputs its place. However, its accuracy is severely degraded when images include many dynamic objects that change over time, such as vehicles and pedestrians. To this end, we propose a new self-supervised de-attention mechanism that suppresses the influence of dynamic objects in images. In addition, sharpened triplet marginal loss is proposed to improve the global descriptor discrimination of the VPR, and its effectiveness is visualized. Subsequently, the re-ranking process using geometric verification based on deep local features follows. Finally, we apply the above three new approaches to the NetVLAD backbone, widely used in image-based location recognition, and train and test it with public datasets. To overcome the lack of datasets crowded with dynamic objects such as vehicles and people, we propose a clutter augmentation method that augments the density of dynamic objects in images. Second, we employ the proposed robust visual place recognition method for the global localization of a robot in a city. Next, localization for robot navigation is also an essential research topic in robotics. Generally, expensive 3D Lidar sensors and pre-map building are used for localization instead of GNSS (Global Navigation Satellite System) with severe position errors in shaded areas and indoors. However, because astronomical costs are required to introduce public robot services at the city level with such an expensive localization method, studies on cost-effective robot localization are crucial for robot navigation. To this end, we introduce a robot camera image and free street view images into the query and database, respectively, and predict the robot’s location on a free online map. Monte Carlo localization (MCL) is utilized for global localization, and the VPR location result is introduced into its sensor model. However, suppose the domain difference between the learning and the test images is severe or similar scenes are repeated, such as a walking path or a long corridor. In that case, the reliability of the VPR is decreased. To cope with this, we define the visible region based on the predicted location and restrict only the results within the visible region to valid sensor observations. Lastly, we utilize the geometrical verification method of the proposed VPR for 2D tomography image registration of a novel magnetic particle imaging device. A magnetic particle imaging (MPI) system has recently attracted attention as a medical diagnosis device using a safe tracer without radiation exposure. Similar to research in the future vehicle interdisciplinary field, novel MPI development research requires extensive interdisciplinary convergence research in electricity, electronics, physics, materials, pharmacy, medicine, hospital clinical, robotics, and computer vision. Therefore, this study is possible only in a few advanced countries, such as the United States and Germany, where the technology has evenly reached the completion stage. We have successfully developed a novel point-of-care compact MPI for the first time in Korea. In this dissertation, we introduce it and employ the proposed geometric verification method of VPR for its image processing. In particular, we present a method for calibrating the distortion of 2D tomography images accumulated from the manufacturing stage by homography estimation based on fiducial markers and restoring it in a three-dimensional (3D) MPI image.

시각적 장소 인식 (visual place recognition, VPR)은 컴퓨터 비전과 로보틱스 분야에서 위치 인식과 관련된 다양한 응용에 적용 가능한 중요한 연구 주제이다. 본 학위 논문에서는, 동적 객체로 붐비는 도시 환경에 강인한 새로운 시각적 장소 인식 방법을 제안하고, 나아가 그것의 요소 기술들이 영상 기반 네비게이션의 위치 인식 연구 및 의료용 단층 촬영 (tomography) 영상의 왜곡 보정 연구로 확장 가능함을 보인다. 첫째, 동적 객체가 많은 도시 환경에서 자기 감독 학습에 의해 동적 객체의 영향을 억제하는 강인한 시각적 장소 인식 방법이 제안된다. 시각적 장소 인식은 위치가 기록된 데이터베이스 (database) 영상들 중에서, 입력된 쿼리 (query) 영상과 가장 유사한 것을 탐색하고 그것의 위치 정보를 출력하는 알고리즘이다. 그런데, 차량, 행인과 같이 시간에 따라 변하는 동적인 객체가 영상에 다수 포함될 경우 탐색 정확도가 심각하게 저하될 수 있다. 이를 극복하기 위해, 우리는 이미지내에서 동적 객체의 영향을 억제 하는 새로운 자기 지도 디어텐션 (self-supervised de-attention) 매카니즘을 제안한다. 다음으로, 전역 기술자 (global descriptor)의 구분력을 향상 시키는 예리한 삼중 마지날 로스 (sharpened triplet marginal loss)를 제안하고, 그것의 효용성을 가시화한다. 계속해서, 탐색 결과의 기하학적 검증 (geometric verification)을 위해 딥 지역 특징 (deep local feature) 기반의 순위재정렬 (re-ranking)이 제안된다. 끝으로, 우리는 영상 기반의 위치 인식에서 널리 사용되는 넷블라드 (NetVLAD) 방식에 앞의 세가지 새로운 시도를 적용한 VPR을 제안하고, 공공 데이터셋으로 학습하여 검증한다. 추가로, 검증 단계에서 동적 객체로 붐비는 도심 수준의 VPR용 공공 데이터셋 부족 문제를 극복하기 위해, 이미지 내에서 동적 개체의 밀도를 증강시켜주는 클러터 증강 (clutter augmentation) 방식을 제안한다. Pittsburgh30K, TokyoTM, Tokyo24/7 등의 공공 (public) 데이터셋을 활용한 리콜 탑 1 (recall at top-1) 측정 실험에서, 우리 방식이 기준 (VGG16-based NetVLAD) 대비 2 ∼ 12%point 향상된 것으로 관측되었다. 둘째, 강인한 시각적 장소 인식 방법을 활용한 로봇의 전역 위치 인식 방법이 제안된다. 네비게이션을 위한 로봇 위치 인식 (localization)은 로보틱스 분야에서 매우 중요한 연구 주제이다. 최근에는, 실내 및 음영 지역에서 위치 오차가 심한 위성항법시스템 (global navigation satellite system, GNSS) 대신, 고가의 3차원 라이다 (lidar) 센서와 사전 맵빌딩 기반의 위치 인식 방법이 주로 활용된다. 하지만, 이러한 고비용 위치 인식 방식으로 도시 범위의 대중화된 로봇 서비스가 도입되려면 천문학적인 비용이 소요되므로, 합리적 비용의 위치 인식 연구는 매우 중요하다. 이를 위해, 우리는 앞서 제안된 VPR의 쿼리와 데이터베이스 입력에, 싱글 카메라 영상과 무료로 얻을 수 있는 거리뷰 (street view) 영상을 각각 도입하고, 무료 온라인 지도상에서 로봇의 위치를 인식한다. 전역 위치 인식을 위해 몬테 카를로 로칼라이제이션 (Monte Carlo localization, MCL)을 사용하고, VPR 위치 결과를 센서 모델에 도입한다. 이때, 학습 영상과 테스트 영상 사이의 도메인 차이가 크거나, 보행로나 긴 복도와 같이 유사한 장면이 반복되면 VPR의 신뢰도가 낮아지는 문제가 발생 할 수 있다. 이를 극복하기 위해, 우리는 추정 위치 기반의 가시영역 (visible region)을 정의하고, 가시 영역 내의 결과만을 유효 센서 관측으로 제약함으로써, VPR 및 MCL의 정확도를 동시에 향상시킨다. 마지막으로, 시각적 장소 인식의 기하학적 검증 방법이 새로운 의료용 단층 촬영 (tomography) 영상의 왜곡 보정 연구로 확장 가능함을 보인다. 최근 자기 입자 영상화 (magnetic particle imaging, MPI) 시스템은 안전한 비방사선 추적자를 사용하는 의료 영상 진단 장치로서 주목 받고 있다. 미래자동차학제 연구 분야와 마찬가지로, 새로운 MPI 개발 연구는 전기, 전자, 기계, 물리, 재료, 의학, 병원임상, 컴퓨터비전 분야 등의 광범위 한 학제간 융합 연구를 필요로 하기 때문에, 전분야에 걸쳐 기술이 고르게 완성 단계에 도달한 미국, 독일 등의 몇몇 선진국에서만 가능한 연구이다. 국내에서는 우리가 최초로 현장 진단을 위한 경량화 목적의 MPI 연구 개발에 성공하여 그 결과를 발표하였다. 본 학위 논문에서는 관련 연구 내용을 소개하고, 앞서 제안된 VPR의 기하학적 검증 방식을 새로운 MPI의 영상처리 연구 단계에 적용해본다. 특히, MPI 제조 단계부터 누적 된 2차원 단층 (tomography) 영상들의 왜곡을 피듀셜 마커 (fiducial marker) 기반의 호모그라피 (homography) 추정으로 교정 (calibration)하고, 3차원 MPI영상으로 복원하는 방법을 제시한다.

서지기타정보

서지기타정보
청구기호 {DPD 23001
형태사항 vii, 77 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 최승민
지도교수의 영문표기 : In So Kweon
지도교수의 한글표기 : 권인소
수록잡지명 : "A novel three-dimensional magnetic particle imaging system based on the frequency mixing for the point-of-care diagnostics". Scientific Reports (Sci Rep), v.10.no.1, pp.1-16(2020)
수록잡지명 : "Semantic-Guided De-Attention with Sharpened Triplet Marginal Loss for Visual Place Recognition". Pattern Recognition, 2022년8월투고(심사중), 2022년8월투고(심사중)
Including appendix
학위논문 학위논문(박사) - 한국과학기술원 : 미래자동차학제전공,
서지주기 References : p. 65-72
주제 Visual place recognition
Image retrieval
Monte Carlo localization
Navigation
Preclinical magnetic particle imaging
Homography
Fiducial marker
시각 기반 장소 인식
이미지 탐색
몬테 카를로 로칼라이제이션
네비게이션
전임상 마그네틱 파티클 이미징
호모그라피
피듀셜 마커
QR CODE qr code

책소개

전체보기

목차

전체보기

이 주제의 인기대출도서