Because videos can be displayed at high resolution and high frame rate with the development of display technology, the demand for high-quality video is increasing. However, due to the several limitations of the camera, video is often obtained with poor quality such as low resolution and low frame rate. In addition, blurry videos are obtained when an object or a camera moves with a relatively long exposure time. For these low-quality videos, they can be improved by applying video enhancement techniques. In this paper, we propose several video enhancement techniques that can improve the quality of videos.
Firstly, we propose a new frame rate up-conversion method that improves the frame rate of video by generating and inserting intermediate frames between successive frames. To estimate and compensate reliable object motions between successive frames, we propose a new triple-frame-based bi-directional motion estimation method that utilizes three frames. In addition, we propose a new motion vector refinement method based on deep learning, which results in producing more elaborate intermediate frames.
Secondly, we introduce a new video deblurring method. In our approach, both deconvolution and aggregation techniques are used for video deblurring. In the deconvolution part, blurry inputs are first preprocessed by non-local operations. Then, the preprocessed frame is aligned with adjacent preprocessed frames and deblurred by a deconvolution network. The multiple deblurred frames from the deconvolution network are combined in a latent frame according to reliability maps produced by an aggregation network.
Lastly, we propose a new joint video enhancement method that generates high-resolution and high-frame-rate clear videos from low-resolution and low-frame-rate blurry videos. The videos that contain multiple degradation factors can be improved by applying video enhancement techniques sequentially. However, this cascade manner is sub-optimal and inefficient with respect to the processing time and network size. Our joint video enhancement method can effectively enhance the quality of videos because it solves a unified degradation model.
Experimental results showed that the proposed video enhancement techniques outperformed other existing video enhancement methods in both subjective and objective evaluations.
디스플레이 기술의 발달로 비디오가 높은 해상도, 높은 프레임 율로 재생이 가능해지면서 높은 품질의 비디오에 대한 수요 또한 증가하고 있다. 하지만 카메라의 여러 제약으로 인하여 비디오는 종종 낮은 해상도, 낮은 프레임 율 등의 좋지 않은 품질로 획득된다. 또한 물체 혹은 카메라의 움직임이 있을 때 충분히 빠른 셔터 속도가 충족되지 못하면 프레임 상에 모션 블러가 발생하여 비디오의 품질을 저하시킨다. 이렇게 낮은 품질로 획득된 비디오의 경우, 비디오 향상 기술을 적용하여 후처리 방식을 통해 비디오의 품질을 높일 수 있다. 본 논문에서 우리는 비디오의 품질을 향상시킬 수 있는 다양한 비디오 향상 기술들을 제안한다.
먼저, 연속되는 프레임 사이에 중간 프레임을 생성하여 삽입함으로써 비디오의 프레임 율을 향상시키는 새로운 프레임 율 향상 기법을 제안한다. 연속되는 프레임들 사이에서 보다 신뢰도 높은 움직임을 추정하여 이를 보상하기 위해 우리는 세 장의 프레임을 사용하는 새로운 양방향 움직임 추정법을 제안한다. 이와 더불어 딥러닝 기반의 새로운 움직임 벡터 보정법을 제안함으로써 보다 정교한 중간 프레임을 생성해 낼 수 있다.
두번째로, 우리는 딥러닝 기반의 새로운 비디오 디블러링 기법을 제안한다. 제안하는 비디오 디블러링 기법은 디콘볼루션 방법과 프레임 종합법 두 가지 기술을 모두 사용하여 효과적으로 모션 블러를 제거한다. 디콘볼루션 부분에서는 먼저 비지역적 연산 네트워크를 사용하여 블러가 제거되며, 뒤따르는 네트워크를 통해 입력 프레임들이 정렬된 뒤 추가적인 디블러링이 수행된다. 그 다음 프레임 종합 네트워크를 통해 보다 선명한 픽셀 값들을 종합시킴으로써 최종 디블러 프레임을 얻을 수 있다.
마지막으로 우리는 낮은 해상도, 낮은 프레임 율의 블러한 비디오를 높은 해상도, 높은 프레임 율의 선명한 비디오로 동시에 향상시키는 통합 기법을 제안한다. 여러 품질 저하 요소를 가지고 있는 비디오의 경우 각 저하 요소에 대응되는 비디오 향상 기법을 순차적으로 적용하여 품질을 향상시킬 수 있을 것이다. 하지만 이러한 순차적인 방식은 최적 결과를 보장할 수 없으며 프로세싱 시간, 네트워크 크기 측면에서 비효율적이다. 우리가 제안하는 통합 기법은 하나의 통합된 저하 모델을 세운 뒤 이를 한번에 해결하는 방식을 통해 효율적으로 비디오의 품질을 향상시킬 수 있다.
다양한 실험들을 통해 우리는 제안한 방법들이 다른 최신 비디오 품질 향상 방법들보다 객관적, 주관적인 측면에서 보다 좋은 결과를 보이는 것을 확인하였다.
