Temporal super resolution is to enhance the frame-rate of already captured dynamic video
sequence by regular frame rate as if captured by a high speed camera. To improve the limited temporal resolution of commercial cameras, there are some researches either adopting expensive devices, such as multiple cameras, digital micro-mirror device (DMD) or leaning to inference the high frame-rate video from the low frame-rate. We propose a temporal super resolution approach using color channel extrapolation with a single camera setting. The proposed method independently capture RGB channels at different moments each other during single frame acquisition time by color multiplexing. We use an optical flow algorithm to extrapolate the absent channel information from the two other color channels of the image. Since applying optical flow to different color channels directly is not trivial, we apply a background subtraction algorithm to guide accurate correspondence estimation without any modification of the optical flow algorithm. The experimental results show that the proposed method makes the regular frame-rate 3 times higher frame-rate on both synthetic simulation and real multiplexing video by structured light. Our method can be combined with traditional temporal super resolution methods to boost the limitation of the methods.
시간적 초해상 기법은 일반 카메라의 프레임률을 해당 카메라의 최대 프레임률 이상으로 올려서 영상을 찍은 것처럼, 기존 카메라에서 최대 프레임률보다 빠르게 발생했던 움직임들을 영상에 재구성해내는 것이다. 시간적 초해상 기법으로는 다수의 카메라를 사용하는 셋팅과 단일 카메라와 dmd(digital micromirror device)를 연계하여 사용하는 셋팅이 있다. 또한 최신 기법으로는 학습된 이미지 자료를 이용한 압축 감지(Compressive sensing) 기법이 있다. 본 논문에서는 컬러를 간단한 셋업으로 분할하는 방법과 색상 채널 외삽법을 활용하는 시간적 초해상 기법을 제안한다. 제안된 초해상 기법은 RGB 스트로보스코프 혹은 컬러휠 등을 이용하여 일반적인 카메라의 베이어 패턴으로부터 들어오는 정보들에 대하여 RGB 각 채널별로 다른 시점의 영상을 기록하도록 영상을 획득하고, 연속하는 채널간의 부족한 채널을 외삽하는 기법이며, 압축 감지 기법과 같은 기존 방법과 연구 동향과는 다른 관점으로 초해상을 한 새로운 시도이다. 본 논문에서는 연속하는 채널정보를 옵티컬 플로우(Optical flow)기반으로 전경(Fore ground)과 배경(Back ground)를 분리해내는 배경 감법(Back ground subtracition)을 활용하여 시점별로 부족한 채널의 정보를 만들었다. 제안된 방법은 복원된 영상의 화질이 뛰어나고, 해상도의 손실이 적으며 프레임률을 3배로 늘릴 수 있다. 또한 기존의 다른 알고리즘과 결합되어 사용될 수 있다.
