Recently, stereo cameras have been widely packed in smart phones and autonomous vehicles thanks to their low costs and small-sized packages. Nevertheless, the acquisition of high resolution (HR) stereo images is still a challenging problem since more complex hardware and larger storage space are inevitably required. While the traditional stereo image processing tasks have mainly focused on stereo matching, stereo super-resolution (SR) has drawn relatively less attention. Some deep learning-based stereo image SR works have recently shown promising results. However, they have not fully exploited binocular parallax in stereo SR, which may lead to unrealistic visual perception. In this thesis, we present a novel and computationally efficient convolutional neural network (CNN) based deep SR network for stereo images by maintaining parallax coherency between the left and right SR images. The proposed network progressively learns parallax coherency via a novel recursive parallax coherency (RPC) block with shared parameters. The RPC block is effectively designed to extract prior parallax information for the left image SR from its right view input images and vice versa. Furthermore, we propose a parallax coherency loss to reliably train the proposed network.
최근 스테레오 카메라가 낮은 단가와 작은 패키지 사이즈로 인해 스마트폰과 자율 주행차 등에 널리 적용되고 있다. 그럼에도 불구하고 고해상도의 스테레오 이미지를 얻는 것은 하드웨어의 복잡도와 저장 공간의 증가로 인해 여전히 어려운 문제이다. 전통적인 스테레오 이미징이 주로 스테레오 매칭에 집중해온 반면, 스테레오 초해상화는 상대적으로 적은 관심을 받아왔다. 최근 소개되고 있는 딥러닝 기반 스테레오 초해상화 방법들이 높은 성능을 보였지만, 이들은 스테레오 이미지의 초해상화를 하는데 있어 양안 시차를 충분히 고려하지 않아, 인지 시각적으로 현실적이지 못한 결과물을 만들어 냈다. 본 학위논문에서는 입력 스테레오 영상으로부터 양안 시차의 일관성을 점진적으로 학습하는 딥러닝 기반의 콘볼루션 신경망을 제안 한다. 제안하는 네트워크 내 반복적 양안 시차 일관성 유지 모듈에 의해 사전의 양안 시차 정보가 효율적으로 추출되며, 이 추출된 정보는 점진적 학습 과정을 통해 더 깊은 컨볼루션 계층으로 전달된다. 또한 새로이 제안하는 양안 시차 일관성 손실 함수는 제안하는 네트워크가 신뢰도 있게 입력의 양안 시차 정보로부터 초해상화 스테레오 영상의 양안 시차가 일관성 있게 유지되도록 학습이 가능하게 한다.
