For autonomous robots and vehicles, it is essential to recognize the surrounding environment accurately. In particular, visual information is the most intuitive and informative for autonomous navigation or human-robot interaction. However, visibility is easily corrupted in water or disaster environments where the robot operation is necessary. This low visibility condition causes the failure of existing robot algorithms. Therefore, an image quality improvement method called dehaizng or image enhancement is essential. In this dissertation, we propose image enhancement methods for robust visual perception. The proposed methods are suitable for various low visibility environments and verified on qualitative, quantitative, and computer vision applications. The technical and theoretical summary of this thesis is as follows.
First, we proposed the image enhancement method to improve the performance of localization and place recognition in the underwater environment. In the marine environment where the turbidity of the surrounding medium is high, such as underwater, image attenuation, and distortion occur severely. Especially when the robot is operated underwater for a long time, such as hull inspection, stable visual information is necessary. Such image attenuation causes a severe problem in the robot operation. In this study, we introduce a new image degradation model, including different attenuation and distortion effects, and propose the image enhancement method by predicting image attenuation parameters through sparse distance information and illumination pattern prediction.
Second, we developed the single image restoration and enhancement method that combines the advantages of a model-based method and a fusion-based method. With multi-band decomposition, we construct an intensity module for restoration and a Laplacian module for detail enhancement. The intensity module estimates ambient light and transmission map without any haze-relevant priors, and the non-linear mapping function is applied for image details. The proposed method is available for both color and grayscale images uniformly. This study verified the performance of various robot vision algorithms such as robot position recognition and semantic segmentation.
Third, we proposed a learning-based image dehazing method for color-distorted images from underwater. Since light is attenuated with respect to the wavelength, underwater images have biased colors such as bluish, greenish, or yellowish. Also, color distortion is challenging to generalize from the conventional haze image model. To restore underwater images with color correction, we developed unpaired image training networks with real underwater and clear images. The networks are trained with multi-objective losses that capture image color, details, and textures.
Last, we investigated the limitation of the single scattering image model used in the image processing field by analyzing real haze and clear images. We evaluated the proposed and previous methods on real hazy images that have a natural scene with generated fog by real fog machines. Each scene has a ground-truth clear image and degraded images, and we were able to analyze the characteristics of image degradation and the limitation of previous enhancement methods. Also, we examined the characteristics of each method by integrating and analyzing various methodologies proposed in this study. Through this, we applied the proposed approach to the images under different hazy situations such as underwater and disaster environment, so that the appropriate algorithm could be identified according to the situation.
자율 주행 로봇의 운용에 있어서 주변 환경을 올바르게 인지하는 기술은 매우 중요하다. 주변 환경 정보 중에 시각 인지 정보는 로봇의 자율 주행뿐만 아니라 사람과 로봇의 상호작용에서도 가장 직관적이며 범용적으로 사용되는 정보이다. 하지만 로봇의 운용 필요성이 높은 수중이나 재난환경은 빛이 전달되는 매질의 탁도에 의해 시계 저하 현상이 자주 발생한다. 이러한 저시계 상황은 기존 로봇 알고리즘의 실패를 발생시키기 때문에 dehaizng 또는 image enhancement라고 불리는 영상 개선 방법이 필수적이다.
본 학위논문에서는 영상 개선을 통해 로봇의 강건한 인지 성능을 확보하는 연구를 제안한다. 다양한 저시계 환경에 적합한 알고리즘을 제안하였으며, 정성적, 정량적, 그리고 사용성 관점에서 검증하여 기술적 가치를 증명하였다. 본 학위논문의 기술적 요약은 아래와 같다.
첫째로, 수중 저시계 환경에서 획득한 영상의 개선을 통한 위치 인식 성능 향상 방법을 제안하였다. 수중 환경과 같이 주변 매질의 탁도가 높은 환경에서는 영상의 감쇠와 왜곡이 심하게 발생한다. 특히 선체 검사와 같이 수중에서 로봇을 장시간 운용하는 경우 영상을 통한 위치 인식이 필수적인데 이러한 영상의 감쇠는 로봇 운용에 큰 문제를 일으킨다. 본 연구는 우선 다양한 저하 현상을 포함한 새로운 영상 감쇠 모델을 제안하고, 희소 거리 정보와 조명 패턴 예측을 통해 감쇠 파라미터를 유추하여 복합적인 영상 감쇠를 복원하는 방법을 제안하였다.
둘째로, 모델 기반 방법과 융합 기반 방법의 장점을 결합한 효율적인 영상 복원 및 강화 기술을 제안하였다. 영상 감쇠 정도를 분석해 영상 전달량을 예측하는 방법을 제안하여 컬러영상뿐만 아니라 단색 영상에도 적용할 수 있는 방법을 개발하였다. 또한, 효율적인 디테일 합성을 제안하여 다양한 로봇 비전 어플리케이션에 적합하도록 알고리즘을 구성하였다. 본 연구의 성능평가를 위하여 단일 영상 검증뿐만 아니라 로봇의 위치 인식, 의미 정보 분할 (Semantic Segmentation) 등의 다양한 로봇 비전 알고리즘으로 성능을 검증하였다.
셋째로, 심층 학습 기반 영상 정보 개선을 통해 색 정보가 왜곡되고 저하된 영상을 복원하는 기법을 제안하였다. 수중 환경에서 칼라 이미지를 활용하는 경우 영상 저하뿐만 아니라 색의 왜곡으로 인한 정보 손실이 심각하다. 특히 색 정보의 왜곡은 환경에 대한 모델의 일반화가 어렵기 때문에 기존의 모델 기반 영상 개선으로는 다양한 수중 환경에 적용하기 어려운 단점을 지니고 있었다. 본 연구는 심층 학습 기법을 통해 기존의 모델 기반 영상 개선이 가지는 모델의 한계를 극복하는 결과를 나타냈다.
마지막으로, 실제 안개 및 연기에 의한 저하 현상을 분석하여 일반적으로 영상처리 분야에서 사용하는 영상 모델의 한계와 시사점을 확인하였다. 안개 생성 기계를 이용해서 균일한 안개 농도를 맞추고 동일한 시점으로 깨끗한 영상과 다양한 헤이즈 영상을 획득하여 빛이 전달되는 매질의 탁도에 따른 영상 모델의 변화와 개선 방법에 대해 살펴보았다. 또한 본 연구에서 제안한 다양한 방법론들을 통합적으로 분석함으로써 각 방법이 가지는 특징을 분석하였다. 이를 통해 수중, 재난환경 등 다양한 저시계 상황에서의 영상에 본 연구진이 제안한 방법을 적용하여 상황에 따라 적합한 알고리즘을 확인할 수 있도록 하였다.
