With the advent of Ultra High Definition (UHD) TVs and contents, video compression has drawn more attention than before. Because a conventional predictive video coding is reaching its limits, one of the other directions to further achieve coding efficiency is a perceptual video coding (PVC) which often exploits just noticeable distortion (JND) models for efficient perceptual redundancy reduction. Unfortunately, previous JND modeling approaches are not suitable for PVC. The conventional transform-domain JND models were designed by psychovisual experiments by increasing the magnitude of each DCT coefficient independently to model JND thresholds at a frequency. However, the magnitudes of DCT coefficients of images are generally decreased during quantization process of video compression. Thus, we presents a new DCT-based JND model by incorporating the quantization effects of video for PVC, which is called just noticeable quantization distortion (JNQD) model that estimates a JND value using a structural contrast index (SCI) in DCT domain. Our proposed JNQD model can be applied as preprocessing prior to any video compression technique by adding a parameter to adapt the model to quantization step sizes. It is called adaptive just noticeable quantization distortion (AJNQD) model. In this thesis, we propose two ways to make the AJNQD model adaptable to quantization step sizes. Firstly, the model parameters of AJNQD are determined via linear regression based on the features extracted from training block images. Secondly, we utilize a convolution neural network (CNN) as the AJNQD model adaptable to quantization step sizes. For experiments, our two AJNQD models have been applied to the state-of-the-art video coding standard, High Efficiency Video Coding (HEVC) and yielded the maximum and average bitrate reductions of 24.7% and 10.1%, respectively, compared to the HEVC random-access encoding without preprocessing without subjective video quality degradation. When the CNN regression method is applied, the preprocessing speed is about 11 times faster compared to using the linear regression method. This is because the hand-crafted feature extraction process is not required. Also, the features extracted by the CNN are more effective than the hand-crafted feature extracted for linear regression. Thus, the CNN-based AJNQD model achieved the maximum and average bitrate reductions of 53.2% and 20.8%, respectively, compared to the HEVC random-access encoding without preprocessing. The performance improvement of the CNN-based AJNQD model is about average 10.7% compared to that of the linear regression method. This performance improvement is an average of 11.2% higher than that of the state-of-the-art PVC scheme.
UHD TV 및 콘텐츠의 출현으로 비디오 압축은 이전보다 더욱 주목을 받고 있습니다. 기존의 예측 기반 비디오 압축이 한계에 도달했기 때문에 압축 효율을 더 높이기 위한 새로운 방향으로 최소 인지 왜곡(JND) 모델을 기반으로한 인지 영상 부호화 (PVC) 방법이 많이 연구되었습니다. 하지만, 기존의 JND 모델링의 접근법은 PVC에 적합하지 않은 방법을 사용해 왔습니다. 기존의 transform 영역의 JND 모델은 주파수 영역에서 JND 임계값을 결정하기 위해서 DCT 성분을 각각 독립적으로 증가시키는 주관적 실험을 통해 얻었습니다. 그러나 영상 압축과정에서 일반적으로 영상의 DCT 성분의 크기는 양자화 과정을 통해 감소된다. 따라서 제안하는 새로운 주파수 도메인의 JND 모델은 DCT 성분이 감소될 때의 임계값을 결정하는 JNQD 모델이다. 이 모델은 또한, 영상 압축에서의 양자화 스탭 크기에 적응적으로 조절될 수 있도록 상수 변수를 추가하여 얻은 AJNQD 모델을 영상 압축의 전처리 과정으로 적용하여 영상 압축 효율을 크게 높일 수 있다. 이 때 AJNQD 모델을 얻는 방법을 본 논문에서는 선형 회귀 방법을 사용하는 경우와 CNN 을 사용한 경우로 두 가지를 소개한다. 선형 회귀를 적용하는 방법은 입력 영상에서 특징을 추출하여 그 특징 값과 영상 압축의 양자화 스탭 크기를 가지고 조절 변수를 결정 짓는 방법이고, CNN 방법은 주관적 실험으로 얻은 조절 변수를 가지고 만든 전처리 영상을 정답영상으로 학습 시킨 CNN 모델을 사용해서 바로 전처리 영상을 얻는 방법이다. 이 두 방법은 각각 기존의 표준 압축 코덱인 HEVC에 비해 평균 10.1%, 24.7% 더 높은 비트레이트 감소 성능을 보인다. 그리고 최신의 PVC 논문의 결과에 비해 CNN의 방법은 평균 11.2% 더 높은 비트레이트 감소를 보인다.
