Due to the limitation of bandwidth in image communication, a technology called frame rate up conversion (FRUC) is being developed. FRUC is a technique for generating intermediate frames between successive frames in order to improve temporal resolution of video sequences. In the modern world, as the multimedia domain is expanded from 2D to 3D, FRUC technology needs to be applied to 3D videos. In order to provide 3D contents, color-plus-depth data type is widely used. The major problems with FRUC are occlusion and motion ambiguity. Occlusion is also called by uncovered and covered region, which occurs in the relationship between background and object. Motion ambiguity refers to the case where two or more motions go through one place. In this paper, we propose a new method to deal with the above problems of FRUC assisted by depth images in color-plus-depth video sequences. First, we estimate motion vectors in a similar way to conventional methods and refine them by depth information. In the intermediate frame, we handle occlusion regions such as uncovered, covered regions, and boundary regions with the help of depth images. Finally, interpolation is performed to generate intermediate frames. The experimental results are proposed with comparisons to those of conventional 2D and color-plus-depth FRUC methods. The result shows that conventional FRUC problems can be improved by using depth information.
이미지 통신에서 대역폭의 한계로 인해 FRUC (frame rate up conversion)라는 기술이 개발되고 있다. FRUC는 비디오 시퀀스의 시간 해상도를 개선하기 위해 연속적인 프레임 사이에 중간 프레임을 생성하는 기술이다. 현대 사회에서는 멀티미디어 영역이 2D에서 3D로 확대됨에 따라 FRUC 기술을 3D 비디오에 적용해야 한다. 3D 컨텐츠를 제공하기 위해 색상-깊이 데이터 유형이 널리 사용된다. FRUC의 주요 문제점은 폐쇄 영역과 움직임 모호성이다. 폐쇄 영역은 배경과 물체 사이의 관계에서 발생하는 드러나거나 덮이는 영역으로도 언급된다. 동작 모호성은 두 개 이상의 동작이 한 곳을 통과하는 경우를 나타낸다. 본 논문에서는 색상-깊이 영상 시퀀스에서 깊이 영상을 이용하여 위에서 언급된 FRUC의 문제점들을 다루는 새로운 방법을 제안한다. 먼저, 기존의 방법과 유사한 방법으로 움직임 벡터를 추정하고, 깊이 정보를 이용하여 이를 보정한다. 중간 프레임에서, 우리는 깊이 이미지의 도움을 받아 드러나거나 덮이는 폐쇄 영역과 경계 영역을 처리한다. 마지막으로, 중간 프레임을 생성하기 위해 보간 기법이이 수행된다. 실험 결과는 기존의 2D 및 색상-깊이 FRUC 방법의 결과와 비교하여 제안되었다. 결과는 깊이 정보를 사용하여 기존 FRUC 문제를 개선 할 수 있음을 보여준다.
