서지주요정보
Joint unsupervised disparity and optical flow estimation of stereo videos with spatiotemporal loop consistency = 시-공간 루프 일관성을 이용한 비지도학습 기반 스테레오 비디오 깊이 및 광학 흐름 추정
서명 / 저자 Joint unsupervised disparity and optical flow estimation of stereo videos with spatiotemporal loop consistency = 시-공간 루프 일관성을 이용한 비지도학습 기반 스테레오 비디오 깊이 및 광학 흐름 추정 / Taewoo Kim.
저자명 Kim, Taewoo ; 김태우
발행사항 [대전 : 한국과학기술원, 2020].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8035831

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MRE 20003

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

Most existing deep learning-based depth and optical flow estimation methods require the supervision of a lot of ground truth data, and hardly generalize to video frames, resulting in temporal inconsistency (flickering). In this paper, I propose a joint framework that estimates disparity and optical flow of stereo videos and generalizes across various video frames by considering the spatiotemporal relation between the estimated disparity and flow without supervision. To improve both accuracy and consistency, I propose a loop consistency loss which enforces the spatiotemporal consistency of the estimated disparity and optical flow. Furthermore, I introduce a video-based training scheme using the convolutional Long Short-Term Memory (c-LSTM) to reinforce the temporal consistency. Extensive experiments show proposed methods not only estimate disparity and optical flow accurately but also further improve spatiotemporal consistency. This framework outperforms the current state-of-the-art unsupervised depth and optical flow estimation models on the KITTI benchmark dataset.

대부분의 기존 딥 러닝 기반 스테레오 깊이 및 광류 흐름 추정 방법의 대부분은 지도학습 방법입니다. 하지만, 이러한 지도학습기반 방법론은 비디오 프레임에서 일반화되지 않아 시간축 비일관성(깜박임 현상)이 발생합니다. 본 논문에서는 스테레오 비디오의 깊이 및 광류 흐름을 추정하고 추정된 깊이와 비지도 학습기반 광류 흐름 사이의 시공간 관계를 고려하여 다양한 비디오 프레임에서 일반화할 수 있는 연구를 제안합니다. 정확성과 일관성을 향상시키기 위해, 스테레오 비디오의 추정된 시차와 광학적 흐름의 시공간적 일관성을 이용한 루프 일관성 손실함수를 제안합니다. 또한 시간적 일관성을 강화하기 위해 c-LSTM (convolutional Long ShortTerm Memory)를 사용하는 비디오 기반 트레이닝 방법론을 적용합니다. 실험적 검증을 통해 본 연구는 시차 및 광학 흐름을 정확하게 추정 할뿐만 아니라 시공간 일관성을 더욱 향상시키는 제안 된 방법을 보여주었습니다. 본 연구는 KITTI 벤치마크 데이터 셋에서 현존하는 최첨단 비지도학습기반 깊이 및 광학 흐름 추정 모델보다 우수합니다.

서지기타정보

서지기타정보
청구기호 {MRE 20003
형태사항 ii, 43 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 김태우
지도교수의 영문표기 : Kuk-Jin Yoon
지도교수의 한글표기 : 윤국진
학위논문 학위논문(석사) - 한국과학기술원 : 로봇공학학제전공,
서지주기 References : p. 39-42
주제 Spatio-temporal consistency
Loop consistency loss
Stereo matching
Optical flow
Unsupervised learning
ZNCC(Zero Mean Normalized Cross-Correlation)
시공간일관성
루프일관성 손실함수
스테레오 정합
광학흐름 추정
비지도학습
ZNCC(Zero Mean Normalized Cross-Correlation)
QR CODE qr code