In this thesis, we propose a novel PVC (perceptual video coding) scheme that controls QP (quantiza-tion parameter) values based on the relation between the MSE value which is estimated with QP values and the JND values. The PVC may achieve more efficient compression than the preceding video compression technology since the PVC understands and utilizes the characteristics of the HVS (human visual system) un-like preceding video compression technologies which encode a video in terms of the statistical properties of image signal and the signal processing theory. There are several models that describe the HVS and that can be adopted to a video compression. In this thesis, we utilize the concept of the JND (just noticeable noise). The JND is one of the good properties that describe the HVS, thus, has been explored. The JND is the mini-mum difference that the HVS can perceive. That is, if distortions are smaller than the JND values in an im-age, the HVS cannot recognize the distortions, though there exist distortions. Meanwhile, the HEVC allows QP values to vary for every CU (coding unit). Since the quantization step size is closely related to visual quality of a decoded video, we can expect that by adjusting the QP values depending on the visual sensitivity, we can get a higher-visual-quality video than an ordinary HEVC encoder with the same bitrate. Therefore, in this thesis, we propose a PVC scheme that adjusts QP values with respect to the perceptual properties. The PVC scheme we propose in this thesis controls QP values by comparing the JND values and the MSE values which are estimated from the quantization step size. To do this work, we researched the manner updating a model parameter and estimating the MAD before we estimate the MSE. Besides, we take into account the variation of QP to derive the Lagrange multiplier in R-D (rate-distortion) optimization and proposed a way to compare RD (rata-distortion) costs from different CU depths. To evaluate and validate the proposed scheme, we im-plemented the idea in the HEVC reference software HM 12.0. The experimental results say that there are a 0.87dB of PSPNSR gain and a gain about 10% in BD-rate with respect to Y-PSPNR.
본 논문에서는 양자화 매개변수(QP, quantization parameter)로부터 예측되는 MSE (mean squared error)와 최소가지차(JND: Just Noticeable Distortion)의 상관관계에 따라 양자화 매개변수의 값을 결정하도록 하는 새로운 인지 비디오 부호화 방법을 제안한다. 인지 비디오 부호화는 영상 신호의 통계적 특성과 신호처리 이론적인 관점에서 비디오를 부호화하던 기존 부호화 방법과 다르게 인간의 시각인지체계를 잘 이해하고 활용하여 이전의 부호화 기술들에 비해 더 효율적인 압축성능을 발휘할 수 있다. 시각인지체계를 잘 설명하고 인지 비디오 부호화에 잘 적용할 수 있는 모델들이 몇 가지 있는데, 본 논문에서는 그 중 최소가지차 개념을 이용한다. 최소가지차 개념은 인간의 시각인지체계의 중요한 특성을 잘 설명해주는 개념으로서 많은 연구가 이루어져왔다. 최소가지차는 인간의 시각인지체계가 인지할 수 있는 최소의 차이를 의미한다. 다시 말하자면, 특정영상의 왜곡된 정도가 최소가지차보다 작은 경우에는 실제로 왜곡이 있음에도 불구하고 인간의 시각인지체계는 그 왜곡을 인지하지 못하는 것이다. 한편, HEVC 부호화 표준은 양자화 구간의 크기를 CU(coding unit)마다 조절할 수 있다. 양자화 구간의 크기는 복호화된 영상의 화질과 직접적인 관계가 있기 때문에, 시각 민감성에 따라 양자화 매개변수를 적절히 조절하면 같은 비트율로 부호화 하는 일반적인 HEVC부호화 영상에 비해 더 나은 주관적 화질을 갖도록 부호화 할 수 있을 것으로 예상할 수 있다. 따라서 본 논문에서는 시각인지특성을 고려하여 양자화 매개변수를 조절하는 방식의 인지 비디오 부호화 기법을 제안한다. 본 논문에서 제안하는 인지 비디오 부호화 기법은 양자화 구간의 크기로부터 해당 영상의 양자화 MSE와 JND값을 비교하여 양자화 매개변수 값을 조정해 주는 방식이다. 이를 위해, 영상의 MSE를 예측하기 이전에 MAD (mean of absolute difference) 및 모델 매개변수를 예측하고 갱신하는 방법을 연구했고, CU마다 변하는 양자화 매개변수를 고려하여 율-왜곡 최적화 계산시에 라그랑제(Lagrange) 상수를 새로 계산하도록 했다. 그리고 그에 따라 깊이가 서로 다른 CU의 율-왜곡 비용 비교 방식을 제안하였다. 이를 검증하기 위해 HEVC 참조 소프트웨어 HM 12.0에 본 논문에서 제안하는 알고리즘을 구현하였고, 실험 결과는 비트율 제어 상황에서 평균 0.87dB의 PSPNR 이득이 있었고 Y-PSPNR에 대한 BD-rate에서는 평균 약 10% 정도의 이득이 있었다.
