Recently, a neural super-resolution (SR) has been on the rise due to its tremendous performance enhancement. Image compression must be accompanied before processing the neural super-resolution to reduce resource consumption for storage and network bandwidth. while it is promising to balance resource (data size and computation) and image quality by jointly considering both perspectives the image compression and the neural super-resolution, existing works optimize the compression included SR pipeline at only one side. Consequently, we present a novel framework that jointly optimizes the traditional image codec and the neural super-resolution by allocating an appropriate Quantization Parameter (QP) and selecting a proper SR model complexity according to the image region. Based on our observation that allocating Quantization Parameter has a dominant position in the relationship between choosing SR model complexity, we design our framework that operates sequentially in the order of SR-aware QP allocation and QP-aware SR model selection. Experiments demonstrate that compared to a baseline that does not any additional optimization, our approach can achieve the same image quality with saving 20% of the storage resources or 50-60% of the computing resources.
최근에 신경망기반 초해상화 기술이 엄청난 성능 향상으로 급부상하고 있다. 이미지 압축은 저장소 및 네트워크 대역폭 사용으로 인한 자원 소비를 줄이기 위하여 신경망기반 초해상화를 적용하기 이전에 반드시 수반되어야 한다. 이미지 압축과 신경망기반 초해상화 기술 모두를 공동으로 고려하여 자원 (데이터 크기, 연산 자원) 과 이미지 품질 사이의 균형을 조절하는 것이 유망하지만, 기존 연구들은 이미지 압축을 포함한 초해상화 파이프라인을 한쪽 면에서만 최적화를 진행한다. 따라서, 우리는 이미지 구역에 따라 적절한 양자화 매개변수를 할당하고 적합한 초해상화 모델을 선택함으로써 기존 이미지 코덱과 신경망기반 초해상화 기술을 공동으로 최적화하는 새로운 프레임워크를 제시한다. 양자화 매개변수 할당이 초해상화 모델 선택에 있어서 주도적인 위치를 가지고 있다는 우리의 관찰으로부터 우리는 초해상화 인지 양자화 매개변수 할당 그리고 양자화 매개변수 인지 초해상화 모델 선택 순서로 순차적으로 작동하는 프레임워크를 설계한다. 실험에 따르면 추가적인 최적화를 진행하지 않은 기준에 비해, 우리의 접근 방식은 동일한 이미지 품질을 달성하면서 20%의 저장소 자원 또는 50-60%의 연산 자원을 절약한다.
