Although most of the images and videos are consumed through the human visual system (HVS), the current distortion assessment methods adapt an objective methods, such as MSE and PSNR. While these objective methods have an advantage that they can be handled easily in a statistical and mathematical sense but can not reflect HVS characteristics well.
Just Noticeable Distortion (JND) means the maximum distortion that human can not perceive. The JND models can be applicable to a variety of image and video processing fields, such as objective quality assessment metrics, video conference, water marking and video compression etc.
In this study, we propose a novel spatial JND model that can well reflect HVS characteristics to frequency-dependent luminance adaptation and texture complexity. The proposed JND model has the two main contributions: Firstly, this thesis has obtained more realistic JND thresholds through the various perceptual experiments using real world images depending on frequency, image texture complexity and viewing distances. Through the perceptual experiments, we found out that the conventional JND models have some limitations in representing the perception characteristics of HVS. That is, the conventional contrast sensitivity function (CSF) JND model is not well agreed with the real CSF JND thresholds. Also, we found out that the conventional luminance adaptation effect (LA) JND model yields inaccurate JND thresholds in high frequency regions. Besides, we obtained a more elaborate contrast masking (CM) JND thresholds from our experiments; Secondly, we proposed a combined JND model that takes into account the three factors of CSF, LA and CM. Regarding the CSF JND, we show the limitation of the conventional CSF JND model and propose a new CSF JND model highly suitable to practical JND thresholds. The LA JND and CM JND in the proposed combined JND model are also improved, which better reflects the perception characteristics of HVS for luminance adaptation and image texture complexity.
In order to verify the performance of the proposed JND model, both objective and subjective performance evaluations are carried out in our experiments. In the objective performance evaluation, we measure Mahalanobis distances between the experimental results and the proposed JND model values. As a result, we obtain a Mahalanobis distance with 0.15 in average. The subjective performance evaluation experiments are conducted in two viewing distances (1.75H and 3.5H - H: screen height). We employed an adjectival categorical judgement method of ITU-R BT.500-11. Compared to the conventional JND models, the proposed model is superior, exhibiting a good agreement with the experimental results for different viewing distances.
대부분의 영상 및 비디오는 인간 시각 시스템 (HVS)을 통해 소비됨에도 불구하고, 현재의 왜곡 평가 방법은 객관적 왜곡 평가 방법(예: MSE)들을 사용한다. 이러한 객관적 평가 방법은 수학적으로 다루기 쉬운 장점이 있으나, HVS를 잘 반영하지 못한다는 단점이 있다.
JND (just noticeable distortion)는 인간이 인지할 수 없는 최대의 왜곡을 의미한다. 이러한 개념을 사용하여 JND를 모델링 하는 연구가 진행되어 왔다. JND 모델은 영상 및 비디오 기술 저변에 활용 가능하며, 특히 비디오 압축 분야에서 인지하지 못하는 중복성을 제거함으로써 압축 성능 향상을 불러 올 수 있는 큰 장점이 있다.
이러한 배경에서 본 논문은 DCT 도메인 상의 JND 모델을 제안한다. 본 논문의 학문적 기여는 크게 2가지로 살펴 볼 수 있다.
첫 번째, 본 논문은 실제 영상을 사용한 다양한 인지 실험을 통해 JND 값을 추출하였고, 그 과정에서 기존에 발견하지 못한 사실과 기존 모델이 가지고 있던 한계점을 발견하였다. 우선, 기존의 대비 민감도 함수(CSF) JND모델은 정신 물리학자들이 세운 일반화된 CSF 모델의 역수의 형태로 사용되어 왔지만 실제 실험 결과는 일반화된 CSF 모델의 역수가 실제 CSF JND 모델을 잘 반영하지 못한다는 것을 확인하였다. 그 외 광적응 현상(LA)의 경우 주파수를 고려하지 않은 기존의 모델은 부분적으로는 옳지만 고주파 상에서는 기존의 LA JND 모델이 아닌 어두운 곳이 더욱 JND가 낮게 측정되는 현상을 새롭게 관찰하였다. 대비 마스킹 효과(CM) JND는 기존에는 수행하지 않았던 실제 다양한 특성을 가지는 실제 영상을 사용한 실험을 수행하였고 엣지밀도와 주파수가 고려된 정교한 CM JND를 획득하였다.
두 번째, 위의 실험들을 바탕으로 정교한 JND 모델을 제안하였다. 제안하는 모델은 CSF , LA, CM의 세 요소로 구성되어 있으며 CSF JND의 경우 기존의 일반화된 CSF JND 모델이 가지는 한계를 수학적으로 증명하고 실제 JND와 잘 맞는 새로운 모델을 제안했다. LA와 CM도 마찬가지로 실험 결과를 이용하여 주파수가 고려된 연속적인 보다 정교하고 정확한 모델을 제안하였다.
본 논문에서 제안한 JND 모델의 성능을 검증하기 위해 객관적, 주관적 성능 평가를 거쳤다. 객관적 성능 평가의 경우 실제 실험을 통해 얻은 목표 JND값과 모델링을 통한 JND값을 마할라노비스 거리로 측정한 결과, 평균 약 0.15의 값을 나타내어 모델링한 JND 값이 목표 JND값과 통계적으로 매우 유사한 값을 가지는 것을 보였다. 또한 주관적 성능평가의 경우 두 조건의 시청거리: 1.75H(0.03dpp), 3.5H(0.015dpp) 상에서 ITU-R BT.500-11 권고안의 Adjectival categorical judgement 방법을 사용하였고, 기존의 모델들과 비교하여 제안한 모델이 좋은 성능을 가지며 시청 거리 변화에 따라서도 강건한 JND 모델임을 검증하였다.
