Computational (or objective) image quality assessment (IQA) is one of the most fundamental yet challenging problems in image processing and computer vision fields. Recently, there has been increasing in-terest in developing elaborate objective IQA methods. Objective IQA methods can effectively replace subjec-tive image quality assessment experiments which are often time-consuming, expensive and difficult to be implemented in systems. Also, they can be effectively applied in image quality optimization problems (e.g., optimal image restoration) which aim at maximizing visual quality metric values in objective functions. In this regard, there has been much effort to develop objective IQA methods having both high correlations with visual quality perception and desirable mathematical properties to be applied in image quality optimization problems.
In this study, we proposed three IQA methods that have different application purposes: i) We propose a new IQA method, called Structural Contrast-Quality Index (SC-QI), by adopting a structural contrast index (SCI) which can adaptively characterize local visual quality perception depending on different image charac-teristics and structural distortion types. In addition to SCI, we devise some other perceptually important fea-tures for our SC-QI that can effectively reflect the characteristics of human visual system (HVS) for spatial contrast sensitivity function (CSF) and chrominance component variation. The proposed SC-QI shows the best correlations with visual quality perception compared to the state-of-the-art IQA methods; ii) In addition, we extend SC-QI to structural contrast distortion metric (SC-DM) which inherits desirable mathematical properties of valid distance metricability and quasi-convexity. So, it can effectively be used as a distance metric for image quality optimization; iii) We propose one more IQA method, called DCT-based Quality Deg-radation Metric (DCT-QM), that is especially effective for perceptual video coding (PVC) applications. The DCT-QM is derived from a low-level psycho-visual theory and is finally formulated as a weighted mean $L^2$ norm for DCT-coefficients in the DCT domain. Our DCT-QM is very easy to be applied in PVC schemes without additional complex computations (e.g., DCT operations for original image blocks to be encoded) and inherits the three desirable mathematical properties for image quality optimization problems, that is, a valid metricability, differentiability and convexity for DCT coefficient values in the DCT domain. Our DCT-QM utilizes spatial CSF characteristics in the DCT-domain but do not adopt the SCI feature used in SC-QI (SC-DM). This is because DCT-QM is aimed to directly and effectively be applied in PVC schemes. So, DCT-QM can be viewed as a simplified version of SC-QI (SC-DM).
Extensive experimental results show that both SC-QI and SC-DM outperform the state-of-the-art IQA methods with much lower computation complexities. The proposed DCT-QM also shows competitive per-formance in estimating perceived visual quality compared to the state-of-the-art IQA methods. In addition, a fast DCT-QM version is proposed which lowers computational complexity with significantly faster running speed and competitive prediction performance compared to the original DCT-QM. In consequence, our SC-QI, SC-DM and DCT-QM can have great merit to be applied into such image/video coding and processing applications.
객관적 영상 화질 평가(Image Quality Assessment. IQA)에 관한 연구는 영상 처리 및 컴퓨터 비전 분야에 있어서 가장 근본적이며 도전적인 연구 중 하나로 사료된다. 최근, 정교한 객관적 IQA방법이 연구자들로부터 많은 관심을 받아왔다. 주관적 영상 화질 평가 방법은 시간과 비용이 많이 들며 시스템에 적용시키기 매우 까다로운데 반해, 객관적 IQA 방법은 효과적으로 이러한 주관적 영상 화질 평가 방법을 대체할 수 있기 때문이다. 또한 객관적 IQA 방법은 영상 화질 최적화 알고리즘(예를 들어, 최적 영상 복원 문제)에도 적용이 가능하다는 장점이 있다.
본 연구에서는 각각 다른 응용 목적을 가지는3개의 새로운 IQA 방법을 제안한다: i) 본 연구는 영상의 텍스쳐 특성 및 구조-왜곡의 중류에 따라 인지적 영상 화질을 적응적으로 반영할 수 있는 Structural Contrast Index (SCI)특징을 도입한 새로운 IQA 방법, 즉, SC-QI(Structural Contrast-Quality Index)을 제안한다. 제안 방법의 영상 화질 예측력을 향상시키기 위해SCI뿐만아니라 시각 인지 화질 특성을 효과적으로 반영할 수 있는 공간 대비 민감도 함수(spatial CSF) 및 색차 요소 변이(chrominance component variation) 특징을 제안 SC-QI에 추가로 도입하였다. 제안 SC-QI방법은 최신 IQA 방법들보다 향상된 주관적 화질 예측 성능을 보였고, 결과적으로 SC-QI는 주관적 화질 실험을 대체하는 주관적 화질 점수 예측 응용에 효과적으로 활용될 수 있다; ii) 추가적으로, 본 연구에서는 SC-QI를 SC-DM(Structural Contrast-Distortion Metric)으로 확장하였고, 확장된 SC-DM은 높은 주관적 화질 예측 성능 뿐만 아니라 영상 화질 최적화 문제에 있어서 목적함수로서 선호되는 수학적 특성(예를 들어, 유효 거리 척도성, 미분 가능성 및 유사 볼록성)을 특징 공간에서 새롭게 가지게 되었다. 따라서, SC-DM은 영상 화질 최적화 문제에 목적함수로 효과적으로 도입될 수 있다; iii) 마지막으로, 본 연구에서는 인지 비디오 부호화(Perceptual Video Coding, PVC)에 효과적으로 적용될 수 있는 IQA 방법, 즉, DCT-QM(DCT-based Quality Degradation Metric)을 제안한다. 제안하는 DCT-QM은 저-레벨 정신-시각 모델 및 이론으로부터 유도되었으며, 결과적으로 원본 및 왜곡 영상의 동일한 위치에 있는 DCT 블록에 대한 DCT 계수 차이값의 $L^2$ 노름으로 수식화 된다. 제안하는 DCT-QM은 DCT 도메인에서 유효 거리 척도성, 미분 가능성 및 볼록성을 모두 가지며 PVC 구조에 추가적인 연산 없이 직접적으로 적용될 수 있다.
광범위한 실험 결과는 제안SC-QI와 SC-DM이 다양한 왜곡 종류와 국부 영상 특성에 대한 인간 시각 체계의 화질 인지 특성을 매우 잘 특징화 하는 것을 보였다. 이 특성은 다른 최신의 영상 화질 평가 모델들은 가지지 못한, 제안 방법의 구별되는 장점이다. 결과적으로, 제안하는 SC-QI와 SC-DM은 최신 영상 화질 측정 방법들보다 훨씬 낮은 계산복잡도를 가지면서 더 높은 주관적 화질 예측력을 보였다. 제안 DCT-QM 또한 구조적 왜곡들에 대해 최신 IQA 방법들과 비교하여 경쟁적인 주관적 화질 예측 성능을 보였다. 최종적으로, 제안 SC-QI, SC-DM 및 DCT-QM은 높은 주관적 화질 예측 성능을 가지기 때문에 주관적 화질 평가를 효과적으로 대체할 수 있을 뿐 아니라 SC-DM 및 DCT-QM의 경우 좋은 수학적 특성을 기반으로 영상/비디오 압축 및 처리에도 매우 효과적으로 적용될 수 있다.
