Frame rate up conversion is an important signal processing procedure to reduce motion blur of hold-type displays. Since simple frame rate up conversion methods can cause motion jerkiness and blurring for non-stationary frames, various advanced methods have been developed to compensate the object motion. Due to falsely estimated motions in the occlusion area, however, the performance of those algorithms is limited. Therefore, it is essential to solve the occlusion problem to maximize the performance of frame rate up conversion.
To solve the occlusion problem, some algorithms have been developed by utilizing multiple motion vector fields that are estimated along both forward and backward directions. Those algorithms adaptively combine multiple motion vector fields for motion compensated frame interpolation, and their adaptive weights are effectively selected based on motion vector reliability. However, their optimal selection is still necessary to further improve the performance of frame rate up conversion.
This dissertation presents a new framework for motion compensated frame rate up conversion, by providing an optimal selection scheme of adaptive weights based on variational image fusion. The proposed algorithm consists of two steps: generation of multiple intermediate interpolated frames and fusion of those intermediate frames. In the first step, I determine four different sets of the motion vector field using four neighboring frames. I then generate intermediate interpolated frames corresponding to the determined four sets of the motion vector field, respectively. Multiple sets of the motion vector field are used in order to solve the occlusion problem in motion estimation. In the second step, the four intermediate interpolated frames are fused into a single frame via a variational image fusion process. For effective fusion, I determine fusion weights for each intermediate interpolated frame by minimizing the energy, which consists of a weighted-L1-norm based data energy and a gradient-driven smoothness energy. Experimental results demonstrate that the proposed algorithm improves the performance of frame rate up conversion compared with the existing algorithms.
프레임율 상향 변환 기법은 홀드 타입 디스플레이에서 흔히 발견되는 잔상 효과(motion blur)를 줄이기 위한 신호 처리 방법이다. 단순한 프레임율 상향 변환 기법은 비정지 프레임에 motion jerkiness와 흔들림 현상을 야기시키기 때문에, 물체의 움직임을 보상해줄 수 있는 기법이 다양하게 개발되었다. 하지만 폐색영역에서 잘못 추정된 움직임 벡터 때문에 이러한 알고리즘들의 성능에는 한계가 있다. 그러므로 프레임율 상향 변환 기법의 성능을 최대화시키기 위해서는 폐색 영역 문제를 해결하는 것이 필수적이다.
폐색 영역 문제를 해결하기 위해 전후방으로 추정된 다수의 움직임 벡터를 이용하는 알고리즘들이 개발되었다. 이러한 알고리즘들은 프레임 내삽을 위하여 추정된 여러 움직임 벡터를 적응적으로 결합하고, 내삽 시 사용되는 가중치는 움직임 벡터의 신뢰도에 기반하여 효과적으로 선택된다. 그러나 프레임율 상향 변환 기법의 성능을 더욱 향상시키기 위해서는 내삽에 이용되는 가중치를 최적으로 선택할 필요가 여전히 있다.
본 학위 논문에서는 variational 영상 융합 기법을 기반으로 최적으로 선택된 적응적 가중치를 적용하는 새로운 움직임 보상 프레임율 상향 변환 기법을 제안한다. 제안하는 알고리즘은 임시 내삽 프레임 생성 단계와 영상 융합 단계로 구성된다. 첫 번째 단계에서 이웃한 네 장의 프레임을 이용하여 네 장의 움직임 벡터장을 추정한다. 추정된 네 장의 움직임 벡터장을 이용하여 네 장의 임시 내삽 프레임을 생성한다. 여기서 움직임 추정에 있어서 생기는 폐색 영역 문제를 해결하기 위해 여러 장의 움직임 벡터장을 사용된다. 두 번째 단계에서 variational 영상 융합을 통해 네 장의 임시 내삽 프레임을 한 장의 프레임으로 융합한다. 효과적인 영상 융합을 위해, 각 임시 내삽 프레임에 해당하는 융합 가중치는 가중치 L1-rnom 기반 데이터 에너지와 경사 추진 제약 에너지로 구성된 에너지를 최소화함으로써 결정한다. 실험 결과는 제안한 프레임율 상향 변환 기법이 기존의 알고리즘과 비교하여 향상된 성능을 보여줌을 증명한다.
