This paper proposes a general framework to apply an interactive image segmentation method (i.e. MRF modeled graph-cut segmentation) to virtually any video sequence for moving object segmentation without human intervention. Although computed motion information of an object between two consecutive frames is an important cue to differentiate the object from its background, applying error-prone motion cues as initial seeds for graph-cut segmentation results in inacceptable errors. In this work, a novel method to estimate the background seeds using estimated object contours and distance transformation is proposed. More importantly for accurate foreground seeds, a novel Chained Optical Flow Analysis (COFA) effectively differentiates incorrect foreground seeds from true initial seeds. Not only structured errors caused by the nature of frame difference motion cue computation, but incorrect seeds due to arbitrary noises are also eliminated by the analysis. With refined seeds, the graph-cut segmentation method produces robust segmentation of a moving object in the image frame. By calibrating the seed data, proposed method enhances the accuracy of segmentation and derives the maximum utilization of MRF modeled graph-cut segmentation method at frame level.
전방물체 추출(segmentation)은 지능화된 비디오 감시시스템, 지능형 로봇, 영화 및 비디오산업등 다양한 컴퓨터 비전 및 영상 처리분야에 적용 되는 기반 기술이다. 그러나 현재까지도 전방물체 추출기술은 인간의 그것과 비교해 볼때 상당히 불완전한 수준이다. 이미지상에서의 세그멘테이션은 이미지 내의 픽셀들을 의미론적 유닛으로 분할하는 작업이라 정의 내릴 수 있으며, 전방물체의 추출은 그러한 의미론적 유닛중 배경과 분리되는 주요한 물체(object)를 세그멘테이션 해내는 작업이다. 따라서 사전지식 없이 컴퓨터가 자동적으로 이미지상에서 세그멘테이션을 수행해 내는것은 무척 어려운 일이며, 의미론적 구분을 인간의 인지능력에 의존함으로서 세그멘테이션을 수행하는 인터랙티브 이미지 세그멘테이션 방법들이 연구되고 사용되어 왔다.
MAP-MRF와 Graph-cut 기법을 이용한 이미지 세그멘테이션은 대표적인 인터랙티브 이미지 세그멘테이션 기법으로 많은 이미지 환경에서 좋은 결과를 낼 수 있지만, 이러한 기법은 사용자가 의미론적 유닛 구분을 위한 초기 시드를 제공해야 한다는 제약이 있다. 그러나 비디오 영상에서의 전방물체는 배경과 구분되는 움직임정보를 가지고 있고, 이를 초기시드로 이용하여 자동적으로 전방물체를 분리하고자 하는 시도들이 있었다. 하지만 주어진 프레임의 움직임정보는 이전 프레임과의 차이를 의미하며 이는 전방물체의 움짐임에 따라 전방물체 이외의 영역을 상당이 내포하게 됨으로 직접적으로 시드로 사용하면 세그멘테이션에 큰 오류를 초래한다.
본 연구는 이러한 움직임정보중 전방물체 이외의 영역을 표시하는 부분을 효과적으로 제거하여, 강인한 초기 시드를 추출하고 이를 MAP-MRF 모델과 Graph-cut 기법을 사용하여 프레임레벨 세그멘테이션 효과를 극대화 할 수 있는 프레임웍을 제시하고 있다.
비디오영상의 환경-움직이는 카메라인지 고정 카메라인지-에 따라, 만일 움직이는 카메라 영상이면 호모그래피를 이용하여 이전 프레임과 현재 프레임사이의 배경움직임을 제거한다. 이렇게 배경움직임이 제거된 프레임간의 차를 구하면 전방물체의 움직임 정보를 추출할 수 있다. 또한 이때 현재프레임상의 외곽선 정보들을 추출하여 배경 시드추정의 기반으로 사용한다. 우선 배경시드는 모든 수집된 외곽선 픽셀들에 대해 옵티컬 플로우를 구한다. 옵티컬 플로우 길이값에 대해 두개의 그룹으로 클러스터링하여 평균이 큰 픽셀들을 전방물체 외곽선추정한다. 추정된 외곽선으로부터 먼거리의 픽셀들에 대해 높은 배경 시드 확률값을 부여하고 움직임정보 값이 높을 수록 낮은 배경시드 확률값을 부여하여 두가지 확률의 결합확률로 배경시드를 결정한다. 전방 시드추출을 위해서는 우선 수집된 움직임 정보가 일정 분계점 이상 되는 픽셀들에 대해 3차 연쇄적 옵티컬 플로우를 구한다. 연쇄적 옵티컬 플로우란 어떤 한점의 옵티컬플로우 시작점으로 다음차 옵티컬 플로우를 구해나가는 방법으로 본 논문에서 새롭게 정의한 특징점 추출 방식이다. 일반적인 비디오 영상에서 전방물체의 프레임간 움직임은 비교적 작고, 전방물체의 크기가 크기때문에, 전방물체내의 움직임정보의 한 픽셀에서 시작된 3차 연쇄적 옵티컬 플로우들은 서로 유사한 패턴을 유지하는 반면, 전방물체 외곽영역에서 추출된 움직임정보 픽셀들에서 시작된 3차 연쇄적 옵티컬 플로우들은 서로 매우 불규칙적인 성향을 띄게 된다. 이러한 특징들을 이용하여 모든 전방물체 시드 후보들로부터 계산된 3차 연쇄적 옵티컬 플로우들간의 부등성을 정의하고 이들을 스펙트럴 클러스터링 기법으로 밀집된 특징점들의 그룹을 분리해 내어 전방물체의 시드정보로 사용하게 된다.
각각 특징을 갖는 세개의 비디오 영상을 사용하여 본연구의 프레임 웍을 실험한 결과 평균 95.2%의 확률로 에러시드를 제거하는 성능을 보였으며 세그멘테이션의 결과 역시 움직임 정보를 그대로 시드 보정없이 적용했을때에 비해 높은 정확도로 전방물체 영역만을 분리 해 내는 것을 확인 할 수 있었다. 본 연구는 비디오영상에서 주어진 프레임상의 전방물체와 배경을 결정하는 초기 시드를 정확하게 추출하여 프레임단계에서의 세그멘테이션의 효과를 극대화 함으로서 다양한 비디오 영상에서의 전방물체 추출에 기여할 수 있다. 또한 연쇄적 옵티컬 플로우 분석기법은 영상에서 움직임정보를 전방 물체 영역과 배경영역으로 정확히 분리해 내는 방법으로 다른 연구에 적용 사용될 수 있는 기반을 제시하였다.
