An autonomous vehicle can be realized only by developing a reliable environment recognition system by processing information obtained through various sensors. This dissertation is a study on the environmental recognition system using a camera, and it includes single image super-resolution and stereo vision. The environmental recognition system using only the camera sensor lacks the amount of information, and research is demanded to complement and solve the insufficient information.
The development of convolutional neural networks (CNN) has remarkably improved the current research on single image super-resolution (SISR). Several high-quality studies have been performed on reconstruction accuracy and perceptual quality, which are the two main issues in SISR. Nevertheless, numerous problems in SISR remain unsolved. SISR is inherently an ill-posed problem owing to insufficient information, and as the scale factor increases, the lack of information becomes even more pronounced. We have studied ways to solve the local characteristics of CNN to deal with additional useful information. A CNN uses a convolution layer designed based on local features, and repeatedly accumulates these features to expand a receptive field. We have explored network structures that can directly handle global information even at lower layers, which are not covered by the receptive field of a CNN. In this paper, we propose a non-local attention SISR network that generates and utilizes the globally scattered similarity information of features. In addition, we propose a very deep architecture based on dense blocks that does not suffer from gradient vanishing without any normalization. Experimental results on standard benchmark datasets indicate the effectiveness of the proposed network, which exhibits state-of-the-art performance in terms of reconstruction accuracy and perceptual quality.
The application of additional useful information is also effective in stereo vision. The proposed non-local attention-based network can directly access global information and provide features that general convolutional neural networks cannot handle. Although the conventional networks estimate the disparity of a stereo image by using the relationship between the surrounding information, the proposed network has a difference in using additional global information. The proposed non-local attention-based network was optimized and applied, and the improvement of disparity estimation accuracy was demonstrated through the experimental results on the benchmark database. The proposed non-local attention-based network was optimized and applied to the stereo vision network, and experimental results on standard benchmark datasets indicate the effectiveness of the proposed network.
자율주행 차량을 구현하기 위해서는 다양한 센서를 통해 획득된 정보를 처리하여 신뢰 할 수 있는 수준의 환경 인식 시스템을 개발해야 한다. 본 논문은 가장 기본적인 센서인 카메라를 이용한 환경 인식 시스템에 대한 연구를 다루고 있으며, 단일 영상 해상도 향상 기법과 스테레오 비전 성능 향상에 대하여 연구하였다. 카메라 센서를 통해 획득된 영상이라는 제한된 조건에서 환경 인식의 신뢰도를 높이기 위해서는 정보의 부족을 보완하고 해결하기 위한 연구가 필요하다.
심층 인공 신경망의 발달은 영상처리 분야의 수 많은 과제들의 성능향상을 이끌고 있으며, 단일 영상 해상도 향상 기법에 있어서도 도약의 개기가 되었다. 최근 단일 영상 해상도 향상 기법은 재구성 정확도와 인지적 품질의 두 가지 주요 문제에 대한 연구가 되고있다. 그럼에도 불구하고 단일 영상 해상도 향상 기법의 수많은 문제는 아직 해결되지 않은 상태로 남아 있다. 해당 주제는 본질적으로 정보 부족으로 인해 발생하는 문제이며, 스케일 팩터가 클 수록 정보 부족이 더욱 두드러지게 나타난다. 본 연구는 컨볼루션 신경망 네트워크의 지역적인 특성을 넘어 추가적인 유용한 정보를 생성하고 처리하는 방법을 다룬다. 종래의 컨볼루션 신경망 네트워크는 지역적인 특징을 기반으로 설계된 컨볼루션 층을 반복적으로 누적하여 수용 영역을 확장하는 방식을 취한다. 반면, 본 연구는 네트워크의 하위계층부터 상위계층의 모든 층에서 전역 정보를 직접 생성하고 처리하는 네트워크 구조를 목표로 한다. 본 연구는 전역적으로 흩어져 있는 특징의 유사도 정보를 생성하고 활용하는 비국부적 집중 기반 단일 영상 해상도 향상 네트워크를 제안한다. %제안한 네트워크는 정규화 없이 그래디언트 소실을 겪지 않는 심층 구조 갖는다. 벤치마크 데이터베이스에 대한 실험 결과를 통해 재구성 정확도 및 인지적 품질의 뛰어난 성능과 효율성을 증명한다.
스테레오 비전 분야에 있어서도 추가적인 유용한 정보의 적용은 주요하다. 제안한 비국부적 집중 기반 네트워크는 전역 정보를 직접적으로 다룰 수 있으며, 일반적인 컨볼루션 신경망 네트워크가 다루지 못하는 새로운 형태의 특징을 제공할 수 있다. 종래의 컨볼루션 심층신경망 네트워크가 주변정보의 관계를 이용하여 스테레오 영상의 시차를 추정하였다면, 제안한 네트워크는 추가적으로 전역정보를 활용하는 차이가 있다. 제안한 비국부적 집중 기반 네트워크를 최적화하여 적용하였으며, 비국부적 네트워크를 어텐션과 특징의 두가지 형태로 제안한다.
