Thanks to the proliferation of digital imaging devices such as cameras and smartphones, taking and sharing photos have become a daily routine. According to people's desire to get high-quality images and vendors' effort to provide a high quality of experience, a number of image-enhancing techniques have been actively studied. Considering the fact that contrast is an important factor in the human perception of image quality, applying the contrast enhancement (CE) method is one of the most effective ways to enhance images.
Our approach to CE of images is based on natural scene statistics (NSS). We show, in this paper, that the average intensity distribution of natural images can be linearly approximated to the ramp distribution in an ordered histogram domain as the contrast increases. Based on this finding, we propose ramp distribution based image enhancement techniques for visible light images and infrared images.
For CE of visible light images, we propose ramp distribution-based global and local CE algorithms. The ramp distribution-based slant thresholding (RDST) algorithm is proposed as a global CE method which uses slant thresholding in an ordered histogram domain to yield a contrast-enhanced image. Also, the ramp distribution based adaptive slant thresholding (RDAST) algorithm is proposed as a local CE method. It adaptively adjusts a slant angle of the ramp distribution in each block to suppress noise amplification in uniform regions and maximizes contrast in non-uniform regions. The RDAST also employs a scaled global modified histogram to minimize sensitivity to block size changes. Moreover, we have found that even state-of-the-art image quality assessment metrics for contrast-changed images cannot correctly evaluate the overly contrasted images. To deal with this problem, we propose the over-contrast measure (OCM) which measures the amount of over-contrast in an image. We were able to evaluate all CE algorithms more correctly with the help of OCM. The experimental results show that the proposed algorithms have better or competitive performance as well as computational efficiency.
To enhance the infrared images, we propose ramp distribution-based infrared image enhancement techniques. The proposed method consists of two parts, considering the characteristics of IR images. First, the ramp-distributed histogram is incorporated into an optimization problem with a sorted histogram of the input image to calculate a modified histogram. Second, to deal with blurred effects on IR images, we propose a relative edge-strength map for high-boost filtering to suppress noise in relatively uniform regions effectively. Compared with various state-of-the-art algorithms, experimental results show that the proposed method has highly competitive performance.
The proposed algorithms can be calculated in real-time and require less memory. Therefore, they can easily be implemented through FPGA or ASIC. It is expected to be widely used for consumer electronics, including smartphones in the future.
카메라와 스마트폰과 같은 디지털 영상 장치가 널리 보급됨에 따라 사진을 찍고 공유하는 것이 일상이 되어 가고 있다. 높은 품질의 영상을 얻고 시청하길 원하는 사람들의 욕구에 따라 많은 영상 향상 기법이 활발하게 연구되고 있다. 인간의 시각 시스템이 절대적인 밝기 값 보다 대비에 민감하다는 사실을 고려할 때 대비 향상 기법은 영상의 품질을 향상 시키는 가장 효과적인 방법이다. 또한 대비 향상 기법은 많은 비전 기반 응용 기법들의 전처리 단계로 활용되고 있어 영상 처리에서 매우 중요한 위치를 차지한다.
영상의 대비 향상에 대한 본 논문의 접근 방식은 자연 장면 통계에 기반을 둔다. 본 논문에서는 자연 영상의 평균 밝기 분포가 대비가 향상할수록 경사 분포로 근사화 할 수 있음을 보인다. 이러한 발견에 기반하여 경사 분포 기반 가시광 영상 및 적외선 영상의 향상 기법을 기술한다.
가시광 영상의 대비 향상을 위해 경사 분포 기반의 전역 및 국부 대비 향상 알고리즘을 제안한다. 전역 대비 향상 알고리즘으로 '경사 분포 기반 기울기 문턱치' 알고리즘을 제안한다. 이는 정렬 된 히스토그램 도메인에서 기울기 문턱치를 사용하여 영상의 대비를 향상시키는 기법이다. 상기 방법을 응용하여 '경사 분포 기반 적응적 기울기 문턱치'라고 불리는 국부 대비 향상 기법을 제안한다. 이 방법은 균일 한 영역에서 노이즈 증폭을 억제하고 비 균일 영역에서의 대비를 최대화하기 위해 각 블록에서 경사 분포의 경사 각도를 적응적으로 조절한다. 또한 블록 크기 변경에 대한 민감도를 최소화하기 위해 스케일 된 전역 수정 히스토그램을 사용한다. 더 나아가 개발된 알고리듬을 정량적으로 평가하기 위해 영상 품질 평가 메트릭에 관한 연구를 수행하였다. 현재 개발된 대비의 향상 정도를 측정하기 위한 영상 품질 메트릭은 오버 슈트 효과, 컨텐츠 의존성 및 범위 효과로 인해 '과 대비된 영상'에 대한 객관적 평가가 어렵다. 이러한 문제점을 해결하기 위해 영상의 과 대비 양을 측정하는 '과 대비 측정 메트릭'을 제안한다. 광범위한 실험을 통해 제안 된 알고리듬이 최신 알고리듬들 보다 향상된 영상 품질을 제공한다는 것을 입증하였다.
적외선 영상의 향상은 높은 동적 범위를 가지는 적외선 영상의 특성을 고려하여 두 부분으로 구성된다. 첫째, 경사 분포 기반 히스토그램과 입력 영상의 정렬 된 히스토그램을 사용하여 최적화 기법 기반의 동적 범위 압축 기법을 제안한다. 둘째, 적외선 영상의 흐릿한 효과를 다루기 위해 선명화 기법을 제안한다. 이 방법은 상대적 에지 강도 맵을 기반으로 하이 부스트 필터링을 수행하여 상대적으로 균일 한 영역에서의 잡음을 효과적으로 억제하는 기법이다. 실험을 통해 기존 및 최신 알고리듬들과 비교를 수행하였으며 뛰어난 성능을 입증하였다.
상기 제안된 대비 향상 알고리듬들은 실시간 계산이 가능하고 적은 메모리를 사용하기 때문에 쉽게 FPGA나 ASIC으로 구현될 수 있어 향후 스마트폰을 포함한 소비자 가전에 폭 넓게 활용 될 것으로 사료된다.