We present a novel video matting method for extracting multi objects’ matte information in a video simultaneously. Recently, video matting technology is received abundant interests in computer graphics community. With the very recent video matting, however, we can’t deal with multi objects because of occlusion problem between multi objects. For solving this occlusion problem, we adopt a full 3d segmentation approach. The key idea is that we consider a video space as a 2D scatter plot not 3D cube. By using this approach, we can solve three problems for multi object video matting. First, we solved occlusion problem between multi objects naturally. Second, for speed-up of full 3d segmentation, we can make video data more efficiently using mean-shift segmentation algorithm. Third, we can apply feature-based object tracking algorithm like SIFT (Scale-Invariant Feature Transform) for each pixel. This process makes our proposed method more robust to dynamic scene. In addition, by reducing the video dimension from 3D to 2D, we can achieve more accurate segmentation results.
이 논문은 비디오에서 다수의 물체에 대한 매트 정보를 추출해내는 새로운 비디오 매팅 방법을 제안한다. 비디오 매팅 기술은 최근 들어 컴퓨터 그래픽스 커뮤니티에서 활발하게 연구되고 있는 주제 중의 하나이다. 하지만, 가장 최근에 나온 비디오 매팅 방법의 경우도, 다수의 물체에 대한 매팅을 다루고 있지는 않다. 이는 다수의 물체 간에 서로를 가리는 경우에 대한 결과가 성공적이지 못하기 때문이다. 이 문제를 해결하기 위해, 3차원 비디오 공간에 대한 전 공간 영역화를 사용한다. 하지만 기존의 논문들과 달리 비디오 공간을 3차원 큐브로 생각하지 않고, 2차원의 산점도로 생각하며, 이것이 본 논문의 가장 중요한 아이디어이다. 이러한 접근법을 사용함으로써 네 가지의 장점을 갖게 되었는데, 첫째 다수의 물체 간에 서로를 가리는 현상을 자연스럽게 해결하였다. 둘째, 3차원 전 공간에 대해 영역화를 적용하면 생기는 시간의 문제를 해결하기 위해 픽셀 단위로 비디오 정보를 압축화하는 방법을 제시하였다. 셋째, SIFT와 같은 물체 추적 알고리즘을 자연스럽게 적용할 수 있는 기본 근거가 되며, 물체의 움직임이 많은 장면에서도 안정적인 결과를 얻을 수 있게 한다. 또한, 영역화를 적용하는데 있어 차원의 개수를 줄임으로써 보다 더 정확한 영역화가 가능하도록 하는 부가적인 장점도 갖는다.
