Recently, the standardization of a next-generation video coding, called High Efficiency Video Coding (HEVC), has almost been finalized with a goal of improving its coding efficiency more than 2 times that of H.264/AVC. In order to improve coding performance, advanced techniques are newly adopted for HEVC, which include a flexible structure of Coding Unit (CU) with skip modes, squared and asymmetric prediction units (PUs) with advanced motion vector prediction and merge modes, a residual quad-tree transform structure with 4×4, 8×8, 16×16 and 32×32, 33 directional intra prediction with planar and DC modes, and additional in-loop filtering of sample adaptive offset. However, such efforts toward improving the coding efficiency have led to dramatic increases in encoder complexity, and further improvement of coding efficiency becomes more difficult in a rate-distortion sense even with more elaborate coding tools at the price of complexity increases.
In this dissertation, we proposed an HEVC (High Efficiency Video Coding)-compliant perceptual video coding (PVC) scheme based on just noticeable difference (JND) models in both transform and pixel domains to further reduce perceptual redundancy. In order to apply JND models to the proposed HEVC-compliant PVC scheme, an existing pixel-domain JND model for the transform skip mode (TSM) of HEVC is adopted, and a novel transform-domain JND model for the transform non-skip modes (non-TSMs) of HEVC is proposed. The proposed transform-domain JND model is designed by considering the spatio-temporal JND characteristics of Human Visual System (HVS) characteristics such as contrast sensitivity, luminance adaptation, contrast masking and temporal masking effects in the sense of minimizing perceptual redundancy with computational complexity as low as possible. In order to reduce perceptual redundancies in an HEVC-compliant manner, the transform coefficients for non-TSM and residues for TSM are suppressed by scaled-up JND values in harmonization with the HEVC transform/quantization process for non-TSM and the HEVC quantization-only process for TSM, respectively. To efficiently select the best combination mode of CU, PU and TU blocks with the JND-based suppression for the proposed HEVC-compliant PVC scheme, a distortion compensation factor is also proposed to reflect the perceptual distortion in the rate-distortion optimization (RDO). The proposed HEVC-compliant PVC scheme produces remarkable bitrate reductions of a maximum 49.10% and average 16.10% for low-delay (LD) configuration and a maximum 37.28% and average 11.11% for random-access (RA) configuration compared to an HEVC reference software (HM 11.0) with negligible visual quality loss by subjective quality assessments of the reconstructed video from encoded bitstreams of test sequences. Moreover, the proposed HEVC-compliant PVC scheme only increases the encoding complexity of an average 11.25% for LD configuration and 22.78% for RA configuration compared to HM 11.0, and it is remarkably faster than a Luo`s work which increased the encoding complexity of an average 789.88% for LD configuration and 812.85% for RA configuration.
In addition, we proposed HEVC-compliant PVC scheme to reduce flickering effect that appear especially in consecutive intra-coded frames for low and medium bitrate from HEVC video encoder. In order to improve visual quality for intra-coded frames, HEVC-compliant flickering reduction scheme was proposed based on Sample Adaptive Offset (SAO) in HEVC. The proposed flickering reduction scheme used the rate-distortion optimization with JND-based distortion measure.
최신 비디오 압축 표준인 HEVC는 ISO/IEC 산하 MPEG 그룹과 ITU-T 산하 VCEG 그룹이 공동으로 Joint Collaborative Team on Video Coding (JCT-VC)을 구성하여 최근 표준화를 마무리 하였다. HEVC는 기존 H.264/MPEG-4 AVC와 비교하여 동등 주관적 화질 대비 약 2배의 압축 부호화 성능을 달성하였으며, 향후 UHD TV, 3DTV 방송 및 IPTV와 감시카메라, 디지털 캠코더, 스마트폰 등의 고화질 비디오 서비스를 필요로 하는 다양한 분야에서 빠른 속도로 적용될 가능성이 매우 높다. 하지만, HEVC 부호화기는 다른 비디오 표준에 비하여 부호화 성능이 높은 반면 복잡도가 매우 높다. 뿐만 아니라, HEVC는 여러 기업과 연구소의 JCTVC 표준화 회의를 통해 최적화 되었기 때문에 HEVC의 참조 소프트웨어인 HM 부호화기의 부호화 성능을 율-왜곡 관점에서 개선하는 것이 매우 어렵다. 한편, HEVC 부호화기를 통해 모두 화면내 모드로 부호화된 경우 깜박거림 현상(Flickering effect)과 같은 주관적 화질 손상이 발생하게 된다. 본 박사학위논문에서는 복잡도를 고려하면서 위 문제들을 해결하기 위하여 크게 두 가지 방향으로 연구를 진행하였다. 두 연구의 문제를 해결하는데 있어서 표준에 적합하도록 연구를 진행하였다. 즉, 부호화기와 복호화기 모두를 수정하는 표준 비적합(Standard-incompliant) 인지 비디오 부호화 (PVC: Perceptual Video Coding) 연구보다는 부호화기만을 최적화 하여 성능을 개선하는 표준 적합(Standard-incompliant) 인지 비디오 부호화 연구를 수행하였다.
첫 번째로, 주관적 화질 손실을 최소화 하면서 압축 효율을 개선하기 위하여 사람의 시각적 잔여(perceptual redundancy)를 제거하는 PVC를 JND 모델에 기반하여 제안하였다. JND은 사람의 인지 모델 중 하나로 자극 또는 변화가 발생하였을 때 사람이 처음으로 자극 또는 변화를 인지하는 차이 값에 대한 모델이다. 이러한 JND 모델을 PVC에 이용하기 위하여 변환이 적용 되는 일반적인 모드의 경우 이전에 존재하는 JND 모델과 복잡도를 최소화한 제안된 주파수 JND 모델을 통합하여 부호화 성능을 개선하였으며, 변환 미적용 모드(TSM: Transform Skip Mode)의 경우 변환을 수행하지 않는 기존 화소기반 JND 모델을 이용하여 PVC를 수행하였다. 변환이 적용된 일반적인 모드의 경우 시공간 JND 모델을 이용하였으며, 이는 사람의 시각적 특성 중 밝기의 변화에 따른 인지차이, 주파수 대역에 따른 인지차이, 블록의 복잡도에 따른 인지차이, 움직임 복잡도에 따른 인지적 차이를 이용하였다. 그 중, 블록의 복잡도에 따른 인지차이 특성을 이용한 JND 모델에서 기존 방법은 화소 블록의 DCT 연산뿐만 아니라 복잡한 Canny 엣지 판단 알고리즘을 적용하였다. 하지만 제안 방법은 엣지를 판단하기 위하여 간단한 Sobel 엣지 판단 알고리즘을 사용하여 공간 주파수에 따른 JND를 바로 계산하도록 하여 복잡도를 개선하였을 뿐만 아니라 기존 복잡한 방법과 비슷한 성능을 유지하였다. 또한, HEVC의 변환 및 양자화의 크기에 맞도록 JND 값을 조절해주는 작업과 변환 이후 잔차 신호에 대하여 간단한 빼기 연산만을 통하여 PVC를 수행하도록 설계 하였다. 마지막으로 율-왜곡 과정에서 최적의 CU, PU, TU 블록을 선택하기 위하여 인지 모델 기반 왜곡 값을 제안하였다. 실험 결과 주관적 화질은 크게 변화가 없으면서 LD의 경우 최대 49.1% 및 평균 16.1%, RA의 경우 최대 37.28% 및 평균 11.11%의 비트율이 감소하였다. 제안된 방법은 HM과 비교하여 LD의 경우 11.25%, RD의 경우 22.78%의 부호화기 복잡도가 증가하였다. 이는 기존 방법이 LD에서 789.88%, RA에서 812.85%가 증가하던 것에 비하면 매우 작은 수치이다.
위에 추가적으로 화면내 부호화 방법만을 이용하여 부호화가 된 모든 화면내 부호화 조건의 경우 발생하는 깜박거림 현상을 줄이기 위해 HEVC 표준에 적합한 인지비디오 부호화 방법을 제안하였다. 이를 위하여 HEVC의 SAO 모듈을 변경하여 새로운 왜곡 모델을 만들었으며, 이에 따른 새로운 율-왜곡 방법을 이용하여 SAO의 클래스와 오프셋을 결정하였다.
