Occlusion boundary detection and gure/ground assignment are essential step for understanding a scene through recognizing objects in single image. A single image contains 3D objects which are projected on 2D plane. Consequently, objects are occluded each other losing their own information. This makes object recognition and scene analysis dicult. However, by knowing that occluded boundaries and their gure/ground relationship we can infer the 3D structural relationship between the objects
and distinguish the objects with others. Therefore, we propose an algorithm to assign gure/ground labels on occlusion boundary by utilizing task-speci c image partitioning method(TSP) and correlation clustering algorithm. Our framework is a two-step approach : First, we generate segmented image by using TSP based on higher-order task-speci c superpixels image(HOTSS). Second given segmented image which conserves occlusion boundary, a modi ed correlation clustering algorithm takes a decision to each occlusion boundary whether front or back. We solve this as a energy minimization problem by using a
linear discriminant function which allows for polynomial-time inference by linear programming (LP) and large margin training based on structured support vector machine(S-SVM). We evaluate the proposed algorithm on the Gemetric Context Datasets of various outdoor images taken from common view-point using Google image search. The experiments show state of the art results both using ground-truth segmentations (93.0%) and task-speci c segmentations (80.15%).
본 연구에서는 상관 클러스터링 알고리즘을 이용하여 하나의 이미지 내의 분할된 영역에 대해 깊이 선후관계를 할당하는 알고리즘을 제안하였다. 이는 영상내에서 각 물체간의 깊이 선후관계를 알아냄으로써, 영상에 대한 이해도를 높이고 더 나아가 영상내 객체간의 관계를 유추하는데 도움이 되는 전처리 기술로서 그 가치가 있다.
이를 위하여 먼저 영상 내의 서로 다른 깊이 정보를 가진 객체를 기준으로 각 영역을 분할 하는 알고리즘이 선행 되어야 한다. 우리는 목적에 맞는 영상 분할 기법을 응용하여 본 알고리즘에 맞게 깊이 정보에 따라 각 영역이 다른 깊이를 갖도록 하는 분할된 영상을 얻을 수 있었다. 더 나은 결과를 위하여, 목적 맞춤형 슈퍼 픽셀을 다층의 슈퍼픽셀 정보를 이용하여 미리 생성해 내고, 상위 계층 정보를 포함하는 슈퍼픽셀 위에서 목적 맞춤형 영상 분할 기법을 사용하였다.
얻어진 분할된 영상을 가지고, 앞 뒤 선후관계를 유추해 내기 위해 상관 클러스터링 알고리즘 기법을 응용하여 목적에 맞는 특징들과, 이를 풀어 내기 위해 구조적 출력을 고려한 제한 요소들을 검토하여 최적화된 정답에 맞도록 풀수 있는 변별 함수를 만들었다. 분할 된 영역에 대해 그 경계영역에 `-1` 또는 `1`의 할당값을 부여해 주는데, 정답에 가깝게 할당될 수록 변별 함수의 값이 더 커지도록 하기위해 두 영역에서 추출된 객체정보 특징점, 볼록 오목 특징점, 영상 내 위치 특징점, 색상 및 질감 복잡도 특징점 등을 가지고 변별함수를 음의 무한대 에서 양의 무한대 사이의 값을 갖도록 특징점에 대한 함수로 표현해 주었다.
각각의 특징점들에 대한 중요도를 실험해 보기 위해 특징들을 추가해 가며 앞 뒤 선후관계 할당에 대한 정확도를 구해 보았다. 선후 관계에 대한 중요도 측정은 정답 경계 와 유추된 경계의 교집합의 픽셀 값을 분모로 하고, 그 중 선 후 관계 가 맞게 유추된 픽셀값을 분자로 하여 측정 되었다. 실험을 통해 객체 정보 특징과 볼록 오목 특징이 영상 내 선후 관계를 유추하는데 있어 주요함을 알 수 있었다. 또한 유추된 분할 영상이 정답에 가까울 수록 그 경계에 대하여 앞 뒤를 구분해 주는 것에 대한 정확도가 증가함을 알 수 있었다.
실험 결과는 지금껏 나온 다른 알고리즘들에 비해 더 월등한 성능을 냄을 보여준다.
앞으로 더 나아가 다른 데이터 집합에 대한 실험을 추가하고, 다른 특징들을 추가하여 실험할 것이다. 또한 이를 기반으로 하여 영상 내 오브젝트 검출 및 영상 이해에 관한 연구를 진행할 계획이다.
