This thesis proposes video quality enhancement algorithms using motion estimation and compensation for video encoder system. At first, we propose a new accurate binary motion estimation algorithm. Motion estimation and compensation are critical components of digital video compression systems. More accurate motion estimation ensures more enhanced video quality. Another main functional block to enhance video quality in the video encoder system is rate control. Secondly, we propose a new adaptive quantization algorithm for rate control using I-frame motion estimation. In general, video encoder system includes pre-processor for input video stream such as noise reducer to enhance encoding efficiency and video quality. Finally, we propose a noise robust motion vector refinement algorithm to find more accurate motion vectors for motion compensated noise reducer.
The new binary motion estimation algorithm improves the motion vector accuracy by using a hybrid distortion measure. Unlike conventional binary motion estimation algorithms, the proposed algorithm considers the sum of absolute difference (SAD) as well as the sum of bit-wise difference (SBD) as a block-matching criterion. In order to reduce the computational complexity and remove additional memory accesses, a new scheme is used for SAD calculation. This scheme uses 8-bit data of the lowest layer already moved into the local buffer to calculate the SAD of other higher binary layer. The proposed algorithm finds more accurate motion vectors and removes the blocky of the reconstructed video sequence effectively.
The new adaptive quantization algorithm uses the motion information in Intra frame by using I-frame motion estimation (IME). It finds optimal quantization values in I-frame and removes unnecessary bit-usage in I-frame. And it results in the improvement of entire visual quality. Also, the effective activity measure in I-frame is proposed. Instead of the reconstructed frame, the original frame is used as the reference frame for IME in order to obtain more effective activity. This activity measure improves the rate control efficiency and the video quality. The proposed IME scheme is easy to implement with negligible hardware cost and achieves noticeable subjective quality enhancement as well as 0.5dB objective quality enhancement.
The motion vector refinement algorithm enhances motion compensated noise reduction (MCNR) efficiency by finding more accurate motion vector. Instead of the vector with minimum distortion, the vector with minimum distance from motion vectors of neighboring blocks is selected as the best motion vector among vectors which have distortion values within certain range set by the noise level. This motion vector refinement finds more accurate motion vectors in the noisy sequence. The MCNR with the proposed algorithm maintains the details of an image sequence very well without blurring and joggling. The motion vector refinement gives 10% additional bit-usage reduction or 0.5dB additional objective quality enhancement in subsequent video coding.
All these algorithms were implemented in hardware IPs to be easily applied to the SOC-based design. And the SOC for DVD encoder system including these hardware IPs was developed and became commercialized.
이 논문에서는 비디오 부호화기 시스템에 사용되는, 움직임 추정을 활용한 비디오 화질 향상 알고리즘들을 제안한다. 첫째로, 보다 정확한 움직임 벡터를 찾을 수 있는 새로운 이진 움직임 추정 알고리즘을 제안한다. 움직임 추정과 보상은 디지털 비디오 압축 시스템의 가장 핵심적인 부분으로서 보다 정확한 움직임 추정은 보다 향상된 비디오 화질을 보장하게 된다. 비디오 압축 시스템에서 화질을 향상시키는 또 다른 주요한 기능 블럭은 비트율 조절이다. 둘째로, 이 논문에서는 보다 효율적인 비트율 조절을 위해, 움직임 추정을 이용한 새로운 적응형 양자화 알고리즘을 제안한다. 일반적으로 비디오 부호화기 시스템은 입력 비디오 스트림에 대해 잡음제거등을 위한 전처리기를 포함한다. 마지막으로, 이 논문은 움직임 보상 기법의 잡음제거기에서 잡음을 고려하여 보다 정확한 움직임 벡터를 찾을 수 있는, 잡음 환경에서의 움직임 벡터 정밀화 알고리즘을 제안한다.
새로운 이진 움직임 추정 알고리즘은 움직임 벡터의 정확도를 높이기 위해 블록 매칭 판단 기준으로 혼성 왜곡 측정법을 사용한다. 기존의 이진 움직임 추정 알고리즘이 블록매칭 판단기준으로 1-비트 데이터의 비트별 절대 차이 값의 합만을 고려하는 것과는 달리, 제안된 알고리즘은 8-비트 데이터의 절대 차이 값의 합을 함께 고려한다. 이때 계산 복잡도를 줄이고, 추가적인 메모리 억세스량을 최소화하기 위해 새로운 기법을 사용하여 8-비트 데이터의 절대 차이 값의 합을 계산한다. 즉, 상위 이진 계층에서의 8-비트 데이터의 절대 차이값의 합을 구함에 있어, 이미 로컬 메모리에 옮겨진 최하위 계층의 8-비트 데이터만을 활용하여 계산하는 기법이다. 제안된 알고리즘을 통해 보다 정확한 움직임 벡터를 찾을 수 있고, 정확한 움직임 추정을 통해 복원된 비디오에서의 블록화 현상을 보다 효과적으로 제거할 수 있다.
새로운 적응 양자화 알고리즘의 특징은 인트라프레임에서도 움직임 추정을 수행 후 이 정보를 이용하여 양자화 값을 결정하는 것으로, 인트라프레임에서의 보다 적절한 양자화 값의 정렬은 결국 전체적인 비디오 화질의 향상을 가져오게되고, 인트라프레임에서의 불필요한 비트 사용량을 줄일 수도 있다. 또한 인트라프레임에서의 보다 효과적인 액티비티를 구하는 방법도 제시한다. 양자화를 위한 인트라프레임에서의 움직임 추정 시, 복원된 이전 프레임을 레퍼런스 프레임으로 사용하지 않고, 원래의 이전 프레임을 레퍼런스 프레임으로 사용하는 방법을 사용하는데, 이 방법이 복원된 비디오의 화질을 보다 좋게 할 수 있다는 것을 보여준다. 제안된 적응 양자화 알고리즘은 구현하기 쉬울 뿐만 아니라 추가적인 하드웨어 비용을 거의 들이지 않고 주관적인 화질을 상당히 향상시킬 수 있으며 정량적으로는 0.5dB의 화질 향상을 가져온다.
움직임벡터 정밀화 알고리즘은 잡음환경에서 보다 정확한 움직임벡터를 찾음으로써, 움직임보상 방식의 잡음제거기에서 보다 효과적인 잡음제거를 가능하게 한다. 일반적으로는 왜곡이 가장 작은 벡터를 움직임벡터로 선택하는데 반해, 이 알고리즘에서는 해당 이미지의 잡음 정도에 따라 정해지는 왜곡 허용범위내의 왜곡 값을 가지는 벡터들 중에서, 주위 블록들의 움직임벡터와 가장 근사한 벡터를 움직임벡터로 선택한다. 이러한 움직임벡터 정밀화는 잡음환경에서 보다 정확한 움직임벡터를 찾을 수 있게 한다. 이 알고리즘을 이용한 움직임보상 방식의 잡음제거기는 흐릿함이나 떨림이 없이 원래 이미지의 세세함을 보다 잘 유지하며 잡음을 제거할 수 있다. 이 움직임벡터 정밀화는 후속하는 비디오 부호화기에서 비트 사용량을 추가로 10% 줄이거나 0.5dB의 추가적인 화질 개선을 얻을 수 있게 한다.
이 논문에서 제안된 알고리즘들은 SOC 기반의 설계에 쉽게 적용할 수 있도록 하드웨어 블록으로 구현되었고, 이들 하드웨어 블록을 포함하는 DVD 부호화기를 위한 SOC가 개발되어 상용화되었다.
