Image partitioning is an important preprocessing step for many state-of-the-art algorithms used for solving high-level computer vision problems. Typically, partitioning is conducted without regards to the task at hand, and all the previous algorithms have not directly addressed the underlying problem of using a task-agnostic partitioning algorithm. A good partitioning will make the successive labeling task easier in terms of computation and help to improve the labeling performance. Therefore, we propose a task-specific image partitioning framework to produce a region-based image representation that will lead to higher task performance than that reached using the task-oblivious partitioning framework. We achieve this by learning an image partitioning model based on a correlation clustering objective from a task-specific training dataset. The proposed correlation clustering uses as its input a fine superpixel graph and leads to a linear discriminant function which allows for polynomial-time inference by linear programming (LP) and large margin training based on structured support vector machine. Furthermore, we propose a novel higher-order correlation clustering that considers higher-order relations among superpixels. For this, we construct a modified hypergraph and generalize the correlation clustering over the hypergraph with a novel higher-order feature vector and LP-based inference problem. We evaluate the learnt task-aware partitioning algorithms on the problems of semantic scene segmentation and surface layout labeling. Our key result is to show that the proposed task-aware partitioning based on the discriminative higher-order correlation clustering can lead to better labelling performance than the partitioning computed by state-of-the-art task-oblivious partitioning algorithms.
영상분할은 하이레벨 컴퓨터 비젼 문제를 푸는 최신의 많은 알고리즘들에서 전처리 과정으로 중요하게 쓰인다. 하지만, 기존의 대부분의 영상 분할은 태스크와 직접적으로 관계없이 수행되어 태스크 관계없는 영상 분할을 사용하였을 때 발생하는 문제점들을 다루지 않았었다. 좋은 분할은 뒤이어 수행하는 레이블링 태스크를 쉽게 해줄 뿐만 아니라 레이블링 성능 자체도 향상시켜준다. 따라서, 본 연구에서는 태스크 맞춤형 영상 분할 프레임워크를 제안하여, 픽셀 단위가 아닌 영역 기반으로 영상을 표현, 기존의 태스크와 관계없는 분할 알고리즘들에 비해 태스크 성능을 높이도록 한다. 이를 위해, 본 연구에서는 상관 클러스터링에 기반한 영상 분할 모델을 태스크 맞춤형 훈련데이터로부터 학습한다. 제안하는 상관 클러스터링은 수퍼 픽셀 그래프를 입력으로 하고, 선형 판별식으로 풀게 되는데, 이는 선형 계획법에 의한 실시간 추정을 가능 하게 하고, 구조적 서포트 벡터 머신에 기반의 마진이 크도록 훈련할 수 있게 한다. 더 나아가, 본 연구에서는 변형된 하이퍼그래프를 만들어 선형 계획법에 의한 추정과 고차 특징 벡터를 이용, 기존의 상관 클러스터링을 이 하이퍼그래프 위에서 확장한 새로운 고차 상관 클러스터링 알고리즘을 제안한다. 본 연구에서는 학습된 태스크 맞춤형 분할 알고리즘을 평가하기 위해 시멘틱 배경 분할 태스크와 표면 레이아웃 레이블링 태스크를 실험하였는데, 그 결과 제안하는 고차 상관 클러스터링 기반의 태스크 맞춤형 영상 분할 알고리즘이 기존의 최신 영상 분할 알고리즘들에 비해 좋은 성능을 나타냄을 확인하였다.
