As new display system of LCD was developed, frame-rate up conversion (FRUC) is a useful technique to improve the temporal resolution in the display. FRUC converts the display format by interpolating intermediate frame between previous and current frame. In this thesis, a new frame-rate up conversion algorithm based on bilateral motion refinement with rotation is proposed. First, we propose the bi-directional motion estimation to obtain the accurate motion vectors for each block. Then, we apply the modified median filtering to motion vector field for outlier-rejection and motion field smoothing. Since these motion vectors are not obtained for intermediate frame, a refined motion estimation method is required in our algorithm. While most refined motion estimation algorithms adopt a method that uses a block-matching algorithm considering only translational motion, the proposed algorithm considers rotation in motion vector field. After the final motion vector with rotation is obtained, the intermediate frame is generated by applying the overlapped block motion compensation (OBMC).
Experimental results show the proposed algorithm provides a better performance than the previous methods subjectively and objectively.
본 논문에서는 원본 프레임들로부터 움직임을 고려하여 사이 프레임을 정확하게 보간하는 프레임 레이트 업컨버전 알고리즘을 제안한다. 일반적으로 프레임 레이트 업컨버전은 정해진 프레임 레이트보다 높은 재생 형식이 요구될 때 원본 프레임 사이에 보간 프레임을 삽입하여 화질을 개선시킨다. 프레임의 재생 형식을 변경하는 응용 이외에도, 프레임 레이트 업컨버전은 낮은 비트 레이트 환경에서도 응용될 수 있다. 이는 부호기에서는 정해진 원본 프레임들로부터 사이의 프레임을 보내지 않고 차후에 복호기에서 수신되지 않은 프레임을 수신된 프레임들로부터 보간하는 방법이다.
원본 프레임들로부터 삽입될 프레임을 보간하는 많은 알고리즘이 있다. 가장 간단한 방법은 연속하는 프레임의 움직임을 고려하지 않고 단순히 프레임을 반복하거나 두 프레임으로부터 보간될 프레임의 시간적 위치를 고려하여 가중치 평균을 취하는 것으로 움직임이 큰 영상에서는 화질 저하 현상이 발생되는 큰 문제점을 지닌다. 이를 극복하기 위해 연속하는 원본 프레임들로부터 블록 단위로 움직임 벡터를 찾아 프레임을 보간하는 움직임 보상 보간 기법이 사용되고 있다. 움직임 보상 보간 기법에서는 대표적으로 전방 움직임 예측방법과 양방향 움직임 예측방법을 사용한다. 전방 움직임 예측방법은 현재 프레임을 기준으로 이전 프레임을 통해 움직임 벡터를 찾은 다음 그 움직임 벡터를 이용하여 프레임을 보간한다. 그러나 이 방법은 보간되는 프레임에 대한 움직임 벡터가 현재 프레임의 움직임 벡터와 동일하다는 가정이 필요하므로 부정확하게 프레임이 보간될 수 있다. 양방향 움직임 예측방법은 보간될 프레임을 기준으로 이전 프레임과 현재 프레임에서 움직임 벡터를 찾기 때문에 전방 움직임 예측방법에서 발생하는 움직임 벡터 비선형 문제는 발생하지 않지만 이전 프레임과 현재 프레임에서 원하지 않는 블록이 매칭될 수 있는 문제점을 가지고 있다. 이와 같은 문제를 해결하기 위해서 전방 움직임 예측 방법을 사용하여 초기 움직임 벡터를 구한 다음, 그 움직임 벡터를 기반으로 양방향 움직임 예측방법을 사용하는 방법이 있다. 그러나 이 방법 역시 부정확한 초기 움직임 벡터를 선정할 경우 화질이 저하된다는 단점을 지니며, 움직임 벡터를 찾는 과정에서 병진운동만 고려하기 때문에 회전이 발생하는 영상에 대해서는 정확한 프레임을 보간하지 못한다.
제안하는 알고리즘에서는 크게 4가지 과정을 거쳐 프레임을 보간한다. 현재 프레임을 기준으로 움직임 벡터를 찾는 전방 움직임 예측과 이전 프레임을 기준으로 움직임 벡터를 찾는 후방 움직임 예측을 수행하여 초기 움직임 벡터의 후보 움직임 벡터를 2개 선정한 다음 그 두 벡터의 신뢰도(후보 움직임 벡터들의 상관도)에 따라 해당 블록의 초기 움직임 벡터를 선정한다.
기존의 $3\times3$의 메디안 필터에서는 해당 움직임 벡터를 포함한 9개의 움직임 벡터를 사용한다. 제안하는 알고리즘에서는 앞에서 얻어진 초기 움직임 벡터를 기반으로 신뢰도가 높은 움직임 벡터만을 필터에 사용하여 잘못된 움직임 벡터가 선정되는 것을 방지한다.
메디안 필터를 통해 얻어진 움직임 벡터는 최종적으로 양방향 움직임 예측을 통해 정밀하게 선정된다. 기존의 방법에서는 병진운동만 고려하기 때문에 프레임에서 회전이 발생되는 부분은 정확하게 프레임이 보간될 수 없다. 본 알고리즘에서는 정밀한 움직임 벡터를 찾을 때 회전요소를 고려해서 3차원(x축, y축, 회전)의 최종 움직임 벡터를 선정한다.
블록간의 경계의 불연속으로 인한 화질 저하(Blocking Artifact)를 방지하기 위해 블록을 중첩시켜 블록간의 경계를 없애는 중첩된 블록 이동 보상(OBMC)을 사용하여 최종적으로 프레임을 선명하게 보간할 수 있다.
제안하는 알고리즘에서는 정확한 움직임 벡터를 탐색하여 보간되는 프레임의 전체적인 화질을 향상시켰으며, 움직임 벡터에 회전의 요소를 적용하여 기존에는 보간될 수 없었던 영역을 보간하였다.
