This dissertation work aimed at targeting a preprocessing-based PVC scheme for Standard Dynamic Range (SDR)/High Dynamic Range (HDR) videos. It is a learning-based Just Noticeable Distortion (JND)-directed preprocessing scheme for perceptual video compression, which is called the SDR(HDR)-JNDNet. Our SDR(HDR)-JNDNet effectively suppresses the perceptual redundancy of SDR/HDR video signals so that the compression efficiency can be significantly enhanced by the following HEVC encoder. To our best knowledge, our work is the first approach to training a CNN-based model to directly generate the JND-directed suppressed frames of an SDR or 10-bit HDR video with the negligible perceptual quality difference between the decoded frames for the original input with and without the preprocessing by the SDR(HDR)-JNDNet. Also, we present a generative adversarial network (GAN)-based post-processing method for compression distortion reduction, which called SDR(HDR)-CARNet, optimized for the proposed preprocessing-based PVC scheme (SDR(HDR)-JNDNet) using GAN-based image restoration method. In extensive experiments, when the SDR(HDR)-JNDNet is applied as preprocessing for the SDR(HDR) video input before compression, it allows remarkably to save the required bitrates for SDR(HDR) test videos, with little subjective video quality degradation without increasing the computational complexity. In addition, when our preprocessing method (SDR(HDR)-JNDNet) and our post-processing method (SDR(HDR)-CARNet) are combined, we can obtain results of better perceptual visual quality while using fewer bitrates than using the conventional standard video codec for 4K-UHD/SDR and HDR videos. Our work is an essential study in real industries of broadcasting and video streaming companies because it has focused on high resolution and HDR images such as 4K-UHD/HDR, which requires a lot of bandwidth for transmitting.
본 논문 연구는 동일 주관적 화질 대비 표준명암비(SDR)/고명암비(HDR) 비디오 압축율 향상을 위한 학습 기반 최소 인지 왜곡 지향 전처리에 관한 것이다. 제안한 전처리 기반 압축 연구는 주관적 화질 인지 특성을 고려하여 입력 영상에 대해 압축전 전처리를 통해 영상 내의 신호 에너지를 감소시키는 방법으로서, 전처리된 입력 영상에 대해 압축된 영상이 전처리를 하지 않은 입력 영상에 대한 압축 영상과 비교했을 때 주관적으로 화질 저하를 인지하기 어려운 상태에서 높은 압축 효과를 얻을 수 있게 하는 방법에 관한 것이다. 본 연구는 최초로 딥러닝을 사용하여 영상의 신호 에너지를 영상 압축 왜곡 크기에 적응적으로 감소시키는 방법을 제안한 것으로서, 기존의 주관적 화질 기반 압축 방법들에 비해 더 높은 압축율 향상 성능을 얻었다. 또한, SDR 영상 뿐만 아니라 전송 시에 높은 비트가 요구되는 HDR 비디오에 대해서도 적용 가능한 학습 기반 압축 전처리 방법도 제시하였다. 또한 전처리 후 압축된 영상의 주관적 화질 향상을 위해, 압축 정보를 효과적으로 활용한 적대적 신경망(GAN) 기반 압축 왜곡 제거 후처리 방법을 제시하였다. 다양한 많은 실험을 통해, 본 논문 연구에서 제안된 학습 기반 주관적 화질 인지 왜곡 최소화 지향 전처리 방법이 기존 표준 압축 방법 및 인지 화질 기반 비디오 압축 방법들에 비해 동일한 주관적 화질 기준 더 낮은 비트률을 생성하는 것이 가능하다. 뿐만 아니라, 적대적 신경망 기반 압축 왜곡 제거 후처리 방법과 결합할 경우, 더 낮은 비트율에서도 본 제안 방법이 더 높은 주관적 화질을 얻을 수 있음을 보였다.
