Image enhancement is a process to change the intensity of an image so that the enhanced image can be perceived clearly with more details. The aim of image enhancement is to improve the interpretability or perception of information contained in the image for human viewers, or to provide a better input to other image processing techniques. This dissertation deals with an image enhancement algorithm of multi-sensor images. We first deal with a single sensor image enhancement algorithm, and then a multi-sensor image fusion algorithm is dealt with as a technique of multi-sensor image enhancement.
To achieve contrast enhancement and detail emphasis of a single sensor image, we propose a novel contrast enhancement algorithm, subband-decomposed multiscale retinex (SDMSR). The algorithm is based on the multiscale retinex (MSR). Unlike the MSR, however, we first decompose retinex outputs into nearly non-overlapping spectral subbands. We then apply a space-varying subband gain to each subband-decomposed (SD) retinex output by considering its subband characteristic so that the image contrast can be effectively enhanced. In order to improve details in both shadows and highlights, we propose a new hybrid intensity transfer function (HITF) based on logarithmic functions. In addition, we make the degree of enhancement of details adjustable by introducing a detail adjustment function (DAF). Experimental results clearly demonstrate that the proposed algorithm effectively distinguishes details in the whole image automatically and greatly enhances overall contrast in various images.
We also propose a novel pixel-level multi-sensor image fusion algorithm with simultaneous contrast enhancement. In order to accomplish both image fusion and contrast enhancement simultaneously, we suggest a modified framework of the SDMSR. This framework is based on a fusion strategy that reflects the multiscale characteristics of the SDMSR well. We first apply two complementary intensity transfer functions to source images in order to effectively utilize hidden information in both shadows and highlights in a fusion process. We then decompose retinex outputs into nearly nonoverlapping spectral subbands. The SD retinex outputs are then fused subband-by-subband, by using global weighting as well as local weighting to overcome the limitations of the pixel-based fusion approach. After the fusion process, we apply a space-varying subband gain to each fused SD retinex output according to the subband characteristic so that the contrast of the fused image can be effectively enhanced. In addition, in order to manage artifacts and noise, we make the degree of enhancement of fused details adjustable by introducing a DAF. Through the experiments with various multi-sensor image pairs, we demonstrate that even if source images have poor contrast, the proposed algorithm makes it possible to generate a fused image with highly enhanced contrast while preserving visually salient information contained in the source images.
영상 개선은 에지, 경계, 명암대비 같은 영상 특징을 두드러지게 하는 것으로, 영상 내의 정보를 사람이 보다 쉽게 인지할 수 있게 하는 목적과 다른 영상 처리 기술들에 대한 보다 좋은 입력 영상을 제공하고자 하는 목적이 있다.
본 학위 논문은 다중센서 영상 개선을 위한 방법을 제안한다. 단일센서 영상 개선 방법을 제안한 후, 다중센서 영상 개선 방법으로서 다중센서 영상 융합 방법을 제안한다.
단일센서 영상의 명암대비와 세부정보를 향상시키고자 부대역이 분해된 다중스케일 retinex (SDMSR) 영상 개선 방법을 제안한다. 본 방법은 다중스케일 retinex (MSR) 방법에 기반하며, 크게 네 가지 부분에서 두드러진 특징을 보인다. 먼저, 겹치는 주파수 대역을 가지는 retienx 출력들을 거의 겹치지 않는 주파수 대역을 가지도록 부대역을 분해하여 부대역이 분해된 (SD) retinex 출력들을 만든다. 이어서, 각 SD retinex 출력들의 특징을 고려한 공간변화 이득을 적용함으로써 명암대비를 효과적으로 향상시킨다. 한편, 밝은 곳과 어두운 곳 모두에서의 세부정보를 향상시키고자 로그 함수에 기반한 혼합 밝기값 변환 함수를 제안하고, 세부정보의 향상 정도를 조절할 수 있는 세부정보 조절 함수를 제안한다. 다양한 특징의 영상들에 대한 실험을 통하여, 제안하는 방법이 영상 전반에 걸쳐 세부정보를 효과적으로 구분 가능케 하고 명암대비도 크게 향상시킴을 확인하였다.
이어서, 영상 융합과 명암대비 향상을 동시에 할 수 있는 새로운 다중센서 영상 융합 방법을 제안한다. 영상 융합과 명암대비 향상을 동시에 하기 위해 SDMSR의 수정된 구조를 제안하고, SDMSR의 다중스케일 특징을 잘 고려한 융합 전략을 제안한다. 먼저, 융합 과정에서 밝은 곳과 어두운 곳의 숨겨진 세부정보를 효과적으로 융합하고자 두 개의 상호보완적인 밝기값 변환 함수를 제안한다. 그리고 나서, retinex 출력들을 SD retinex 출력들로 분해한 후, 융합하고자 하는 영상들의 SD retinex 출력들을 부대역 별로 융합한다. 이 때, 픽셀 기반 융합 접근법의 한계를 극복하고자 로컬 가중치뿐만 아니라 글로벌 가중치도 이용한다. 융합된 SD retinex 출력들 각각에 대하여 특징을 고려한 공간변화 이득을 적용함으로써 융합 영상의 명암대비를 효과적으로 향상시킨다. 또한, 바람직하지 못한 특징들을 효과적으로 처리하기 위해, 세부정보 조절 함수를 이용한다. 다양한 다중센서 영상 쌍들에 대한 실험을 통하여, 제안하는 방법이 융합하고자 하는 영상들의 명암대비가 좋지 않은 경우에도 각 영상들에 포함된 중요한 정보는 잘 보존하면서 명암대비가 크게 향상된 융합 영상을 만들 수 있음을 확인하였다.
