In this thesis, we present a new frame rate up-conversion method by using segment-based motion es-timation. By using segment-based motion estimation, the proposed method can obtain more accurate motion vectors than the block-based method, even for some large and homogeneous regions or regions with small objects and thin lines, which usually produce wrong motions when the block-based method is used. The pro-posed method can also give reliable motion vectors even for the segments included in occluded regions, by using motion vector sharing, which shares motion vectors between consecutive motion vector fields for the same segment. In addition, the proposed method can tolerate for some wrongly segmented regions by re-estimation for sub-segment, which is derived by over-segmentation if it is necessary. Finally, the proposed method achieves much better interpolated results by using pixel-wise refinement and some proposed interpo-lation schemes. Experimental results demonstrated that the proposed method outperforms the previous methods, which exploited the block-based method.
이 논문은 새그먼트 기반 움직임 추정 방법을 이용한 새로운 프레임 율 증가 방법을 제안하고 있다. 제안하는 프레임 율 증가 방법을 이용하면, 새그먼트 단위로 움직임을 추정함으로써 블록 단위로 움직임을 추정하는 기존의 알고리즘들에 비해서 더 정확한 움직임 벡터를 얻을 수 있다. 특히, 기존의 블록 단위로 움직임을 추정하는 방법에서 흔히 움직임을 잘 추정하지 못하는, 넓고 값의 변화가 크지 않은 영역이나, 작은 물체나 얇은 선이 있는 영역에 대해서도 그 영역을 분리하여 그 영역의 움직임을 구함으로써 더 좋은 움직임 벡터를 얻을 수 있다. 또한, 제안하는 프레임 율 증가 방법은 오클루젼이 나타나는 영역에 포함된 새그먼트에서 같은 새그먼트를 공유하고 있는 인접한 움직임 벡터 필드로부터 움직임 벡터를 공유받음으로써 오클루젼의 영향에도 불구하고 적절한 움직임 벡터를 구할 수 있다. 더불어 제안하는 프레임 율 증가 방법은 잘못 분리된 새그먼트에 대해서 새그먼트를 더 쪼개어 다시 움직임 추정을 수행함으로써, 새그멘테이션의 성능에 구애받지 않고 원하는 수준의 움직임을 추정할 수 있다. 끝으로 이렇게 구해진 움직임 벡터들을 픽셀 단위로 개선하고, 제안하는 보간 기법들을 통해 중간 프레임을 얻을 수 있다. 실험 결과, 제안하는 방법은 기존의 블록 단위로 움직임을 추정하는 방법들에 비해서 뛰어난 중간 프레임 보간 성능을 보이는 것으로 증명되었다.
