Recent years, the development of digital technology and the development of robot technology are expected to greatly improve human safety and convenience. In particular, systems such as unmanned vehicles, unmanned aerial vehicles, and humanoid robots have been developed and are coming into daily life. In order for these automated systems to co-exist with humans, it is important that the environment be properly detected and recognized. Various sensors have been developed to perform these functions, and the dependence and importance of the image sensor is increasing. Therefore, camera systems should be able to guarantee good image quality to users in various environments such as general environment and night environment. Much research has been done and good results have been achieved, but most of them are image enhancement and image processing mainly for images acquired under daylight or bright lighting conditions. Image enhancement or object feature detection studies that take into account environmental factors such as fog, snow, rain, dust, nighttime, low light, etc. are relatively few.
In this study, we have proposed a simple, efficient and common visual enhancement algorithm platform for images acquired from various external environments (fog, low light, night, yellow dust) that degrade visibility. Finally, The improved images were obtained. And we tried to extract useful geometric information from images.
Fog, dust, and low-light environments reduce the visible distance exponentially with distance. Due to the scattering and attenuation of light, the colors of surrounding objects are made to be similar to each other and the saturation is made very low, making the boundary between the background and the object obscure and making the object difficult to distinguish. Therefore, in this study, the following process of image processing was prepared to overcome these constraints. The following steps can be applied flexibly according to the target.
First, histogram analysis and transformation were performed by preprocessing the input image. This process is to apply an appropriate algorithm to the input image through histogram analysis and comparison. If necessary, histogram movement and size conversion are performed.
Second, the dark channel prior (DCP) algorithm, which is a fog removal algorithm, was applied to preprocessed images. However, the conventional DCP algorithm has a disadvantage in that it takes much time in the calculation of the amount of transmission. Therefore, in this study, the calculation time is greatly shortened by modifying and simplifying the calculation parts of the dark channel prior and transmission amount. The modified algorithm can be applied to fog image, low light image, night image, and near-infrared fusion images.
Third, we obtain fusion image with improved visibility through post-processing. In other words, the contrast enhanced images were obtained by using local histogram equalization (CLAHE), and the images with improved edge information were obtained by using 2D discrete wavelet transform (DWT). Or each image was given an appropriate weight and fused to obtain an image with improved visibility.
In this study, we have developed an image enhancement algorithm framework that can be commonly applied to images acquired in various low visibility environments, and it is meaningful that it has been applied to various images. In addition, it is meaningful not only to improve the visible light image but also to obtain an improved image through efficient image fusion by using the feature information of the near infrared image and the visible light image. Experimental results show that the proposed algorithm is effective in improving fog, night, low light, and sandstorm images, and it is possible to obtain richer information by fusion with near infrared images.
최근 디지털 기술의 발달과 로봇 기술의 발전은 인간의 안전과 편리함을 대폭 향상시킬 것으로 기대되고 있다. 특히 무인자동차나 무인항공기, 휴머노이드 로봇과 같은 시스템들이 개발되어 인간의 일상생활 속으로 들어오고 있다. 이런 자동화된 시스템들이 인간과 공존하기 위해서는 주변 환경을 올바로 감지하고 인식하는 것이 무엇보다 중요하다. 이런 기능들을 수행하기 위해 다양한 센서들이 개발되고 있는데, 이중 영상 센서에 대한 의존도와 중요성은 더욱 증가하고 있다. 따라서 카메라 시스템들은 일반적인 환경부터 야간 환경 등 다양한 환경에서 사용자에게 좋은 화질을 보장할 수 있어야한다. 이미지 개선 및 영상 처리 분야에서 그동안 많은 연구가 이루어지고 좋은 성과를 거두었지만 대부분이 주로 낮이나 밝은 조명 조건하에서 취득한 영상들을 대상으로 하였다. 그러나, 안개나 눈, 비, 먼지, 야간, 저조도 등 가시성이 저하되는 환경적 요인을 고려한 이미지 개선 또는 객체 특징 검출 연구는 비교적 적은 편이다.
본 연구에서는 가시성을 저하시키는 다양한 외부환경(안개, 저조도, 야간, 황사)으로부터 취득된 영상들을 대상으로 간단하고 효율적이며 공통으로 적용할 수 있는 가시성 개선 알고리즘 플랫폼을 연구하고 제안하여 최종적으로 가시성이 개선된 영상을 구하였다. 그리고 영상으로부터 유용한 기하학적 정보를 추출하고자 하였다.
안개, 먼지, 그리고 저조도 환경 등은 거리에 따라 지수 함수적으로 가시거리를 감소시키며 빛의 산란과 감쇠로 인하여 주변 물체의 색상을 모두 비슷하게 만들고 채도를 매우 떨어뜨려 배경과 물체의 경계를 모호하게 만들기 때문에 물체를 구별하기 힘들게 만드는 특징이 있다. 따라서 본 연구에서는 이러한 제약을 극복하기 위하여 다음과 같은 영상처리 과정을 준비하였다. 다음의 단계는 대상에 따라 유연하게 적용할 수 있다.
첫째, 본 연구에서는 입력 영상에 대해 전처리과정으로 히스토그램 분석과 변환을 수행하였다. 이 과정은 입력 영상에 대해 히스토그램 분석 및 비교를 통해 적절한 알고리즘을 적용하기 위한 것으로 필요에 따라 히스토그램 이동 및 크기 변환 등의 과정을 수행한다.
둘째, 전처리를 수행한 영상을 대상으로 안개 제거 알고리즘인 다크 채널 프라이어 (DCP) 알고리즘을 적용하였다. 그런데 기존의 다크 채널 프라이어 알고리즘은 전달량 계산부분에서 시간이 많이 소요되는 단점이 있다. 그래서 본 연구에서는 다크 채널 프라이어 계산 부분과 전달량 계산 부분을 수정하여 간소화시키므로 써 계산시간을 대폭 단축하였다. 수정된 알고리즘은 안개 영상, 저조도 영상, 야간 영상, 황사 영상 그리고 근적외선 융합 영상 등에 적용이 가능하다.
셋째, 후처리 과정으로 대비 향상 기법인 지역적 히스토그램 평활화(CLAHE)와 2차원 이산 웨이블릿 변환(DWT)을 이용하여 이미지의 선명도와 에지 정보가 향상된 영상을 구하거나 또는 각각의 이미지를 구하여 적절한 가중치를 주고 융합하므로 써 가시성이 개선된 이미지를 얻었다.
본 연구에서는 다양한 저 가시성 환경에서 취득한 영상들에 대해 공통으로 적용할 수 있는 영상 개선 알고리즘 프레임워크를 개발한 것과 이것을 다양한 저가시성 조건의 영상에 적용하여 효과를 거두었다는 점에서 의미가 있다. 또한 가시광 영상의 개선뿐 아니라 근적외선 영상의 특징 정보를 이용하여 가시광 영상과의 효율적인 영상 융합을 통해 보다 개선된 영상을 얻었다는 점에서 의미가 있다. 이는 실험 결과들을 통해 제안하는 알고리즘이 안개 영상, 야간 영상, 저조도 영상, 황사 영상 등의 개선에 효과적이며 근적외선 영상과의 융합을 통해 정보가 더욱 풍부한 결과 영상을 얻을 수 있음을 확인할 수 있다.
