Although there are several methods that automatically estimate depth from 2D image sequence, converting 2D images to 3D stereoscopic images still requires intensive labor. We aim to generate a panorama image that represents every image frame in a video sequence and allow user to work with this single image to create depth map sequence. Previous panorama generating methods intend to make a complete and seamless image but it is not essential in our approach. Since our final output is depth map sequence not panorama image itself, our method can be applied to relatively free camera movements.
On the created panorama image, we put sparse user scribbles and point depth information. These user inputs are propagated on entire image to substitute object extraction and depth painting. After propagation, the depth map on panorama is remapped to original image sequence and used as initial guess for each depth map. Since panorama image is incomplete, propagated depth has artifacts. The artifacts are refined in local image frames while considering confidence of initial depth, color of local image frame, and tracked camera parameters. We have implemented our system as a plugin of commercial 2D image compositing tool and applied to various camera works, demonstrating how the proposed system effectively yields fine results.
본 연구 논문은 2D 영상을 3D 입체 영상으로 변환 할 때 작업 효율을 높일 수 있는 파노라마 이미지 생성 기술을 소개한다. 2D 영상에서 3D 입체영상을 얻기 위해서는 영상에 대응되는 깊이 정보를 추출해야 한다. 한 장의 이미지와는 다르게 영상은 수많은 이미지 프레임들로 구성되어 있고 각 프레임에 대응되는 뎁스 맵(Depth Map)은 서로 유기적으로 부드럽게 연결되어야 한다. 이러한 깊이 정보를 자동으로 추출할 수 있는 연구도 존재하지만 여전히 고품질의 뎁스 맵(Depth Map)을 얻기 위해서는 작업자들의 프레임 단위로 이루어지는 많은 수작업이 필요하다.
이 논문에서는 영상을 구성하는 여러 장의 이미지를 한 장의 이미지로 만들고 작업자가 이 한 장의 이미지에서만 뎁스 맵을 만들어 주면 동영상 전체로 뎁스 정보가 퍼져나가는 방법을 제시한다. 기존의 파노라마 이미지 생성 기술의 목적은 결함없이 완벽한 한장의 파노라마 이미지를 만드는 것이 목적이기 때문에 카메라 위치가 고정되어 있는 경우에서만 잘 적용된다. 하지만 이 논문의 목적은 파노라마 이미지를 만드는 것이 아니라 이 이미지를 이용하여 최종 뎁스 맵을 생성하는 것이므로 파노라마 이미지가 완벽하지 않아도 무관하다. 따라서 논문에서 제시된 방법은 상대적으로 자유로운 카메라의 움직임에도 적용이 가능하다.
완성된 파노라마 이미지 상에서 뎁스 맵을 그릴 때는 각 객체를 분리해 내는 로토스코핑(Rotoscoping) 작업과 분리된 객체 위에 깊이 정보를 그리는 뎁스 페인팅(Depth Painting)작업이 필요하다. 이것은 장면이 복잡한 경우 한 장의 이미지에서 수행하더라도 많은 시간이 소요되는 작업이다. 따라서 이 논문에서는 로토스코핑과 뎁스 페인팅 작업을 대신하여 작업자가 각 객체를 지시해주기 위해 간단히 그린 Scribble과 샘플로 추출된 특정 포인트들에 대해 깊이 정보를 지정해주기만 하면 본래의 이미지를 고려하여 전체 이미지로 깊이 정보가 퍼져나가는 방법을 사용한다.
초기 단계에서 완벽한 파노라마 이미지를 만들지 않았기 때문에 그 위에서 생성된 뎁스 맵에도 결함이 존재한다. 그러므로 결함이 존재하는 뎁스맵을 각 이미지 프레임에 다시 할당할 때에도 오류가 발생하게 된다. 이러한 오류를 개선시키기 위해 논문에서는 파노라마 이미지에서 가져온 뎁스맵을 초기값으로 삼고 할당하고자 하는 프레임의 이미지 색상 정보를 고려하여 한번 더 깊이 정보를 퍼뜨리는 방법을 사용했다. 모든 프레임에 대해서 대부분의 공통된 뎁스 정보는 한 장의 파노라마 뎁스 맵에서 선택하고 오류가 있는 부분 만을 수정하기 때문에 프레임들이 시간의 흐름에 따라 부드럽게 유기적으로 연결된 결과를 얻을 수 있다.
본 논문의 방법들은 여러 프레임에 걸쳐 반복되는 수작업을 줄이고 많은 시간이 소요되는 로토스코핑 및 뎁스 페인팅 작업을 간단한 Scribble과 샘플 포인트에 대한 깊이 정보로 대체하였다. 따라서 제시된 방법은 고품질의 뎁스 맵 제작을 목표로 하는 프로덕션의 효율성 향상에 실질적인 도움을 줄 수 있다. 하지만 제시된 방법은 카메라의 움직임이 과도하거나 대상에 움직임이 많은 경우 및 폐색된 객체가 많은 경우에 적용이 어려운 한계가 있다. 이런 경우에서도 여러 프레임의 이미지를 한 장 혹은 몇 장의 이미지 만으로 나타낼 수 있도록 하는 것이 본 논문의 연구가 확장되어야 할 방향이다.
