Salient region detection has been extensively studied due to its great possibilities for various computer vision fields. Despite remarkable research advances, a considerable amount of efforts still has been devoted to detect salient regions, which attract the human visual attention indeed, over the last few years. This is because previous methods are easily biased toward edges or corners, which are statistically significant, but not necessarily salient. Moreover, they often fail to find salient regions in complex scenes due to ambiguities between salient regions and highly textured backgrounds. In this thesis, we present a novel framework for salient region detection based on textural contrast, which is defined by combining the difference of luminance and directional coherence between center and surrounding regions. The proposed method is simple, robust, yet biologically plausible and it can thus be easily extended to a wide range of computer vision applications. Based on various data sets, we conduct comparative evaluations both qualitatively and quantitatively using 12 representative saliency detection models presented in literature, and the results show that the proposed scheme outperforms other previously developed methods in detecting salient regions. We further provide the utility of the proposed method by applying it to real-world applications such as content-aware image resizing (i.e., image retargeting), object segmentation, and video surveillance.
인간의 시각 시스템은 특별한 노력 없이 주어진 영상에서 관심 영역을 신속하게 검출한다. 이러한 시각 시스템 동작에 대한 컴퓨터 기반의 모델링은 제한된 자원을 이용한 영상 내 객체 검출 및 인식 등 다양한 분야에 적용될 수 있다. 따라서, 효과적인 관심 영역 검출 기법 개발에 대한 많은 연구가 진행되어 왔다. 먼저, 고차원 정보 (즉, 얼굴, 보행자, 자막 등)를 이용하여 관심 영역을 추출하는 연구가 있었으나 이와 같은 정보는 모든 영상에서 존재하지 않기 때문에 일반화에 어려운 단점이 있다. 이러한 문제점을 극복하기 위해 최근에는 중심 영역과 주변 영역에서 추출한 다양한 저차원 특징, 예를 들면, 밝기, 색상, 방향성 등, 간의 대비를 이용하여 관심 영역을 검출하는 방법이 주를 이루고 있다. 저차원 기반의 방법은 괄목할 만한 성능 향상을 가져 왔으나, 여전히 복잡한 배경에 취약한 단점을 보인다. 본 논문에서는 영상 내 구조적 대비를 이용한 관심 영역 검출 방법을 제안한다. 인간의 시각 시스템이 밝기 및 방향성 대비에 빠르고 민감하게 반응하는 특징을 기반으로 구조적 대비를 모델링하고, 다중스케일 분석을 통해 관심 영역을 고르게 강조하여 표현 할 수 있도록 한다. 자세히 살펴 보면, 먼저 밝기 대비를 위해 전역적 평균 밝기 값과 지역적 평균 밝기 값의 차이를 $n$ 차원 통계 모델에 적용한다. 방향의 일관성 대비는 중심과 주변 영역에서 구한 구조 텐서 고유치 기반의 일관성 정도의 차이를 이용하여 정의한다. 단일 스케일에서 관심 영역 지도는 위 두 대비를 함께 이용한 구조적 대비 정도에 의해 구할 수 있다. 일반적으로 관심 영역의 크기는 미리 알 수 없는 정보이기 때문에 다중 스케일 분석을 통해 관심 영역을 고르게 강조할 수 있도록 한다. 제안하는 방법에 대한 성능 평가를 위해 두 가지 데이터 셋을 사용하였다. 즉, 제안하는 관심 영역 지도와 사람 눈의 주시 지도 간의 유사도를 알아 보기 위해 27장의 영상에 대한 주시 지도를 사용하였으며, 다양한 자연 영상에서의 관심 영역 검출 성능을 알아보기 위해 총 800장의 이미지 셋을 사용하였다. 또한, 다양한 변수 변화에 의한 관심 영역 검출 성능의 민감 정도를 측정하였다. 제안하는 방법의 우수성을 보이기 위해 최근 제안된 12가지의 대표적인 방법들과 정량적, 정성적 비교 실험을 수행하였으며, 이를 통해 제안하는 방법이 복잡한 배경에서도 성공적으로 관심 영역을 검출하고 있음을 확인 할 수 있었다.
제안하는 관심 영역 검출 지도는 시각적으로 중요한 영역을 잘 보존하면서 배경 영역을 효과적으로 억제하기 때문에 다양한 검퓨터 비전 응용분야에 적용될 수 있다. 제안하는 방법의 유용함을 보이기 위해 본 논문에서는 세 가지 분야, 즉, 콘텐츠 기반의 영상 확대 및 축소, 객체 분할, 실외 환셩에서의 배경 모델링에 관심 영역 지도를 적용하였다. 이를 통해 관심 영역 지도를 기반으로 영상 내 중요한 영역에 대한 왜곡 없이 확대 및 축소를 수행할 수 있으며, 사용자에 의한 초기값 설정 없이 자동으로 객체 분할 수행 역시 가능함을 보였다. 또한, 제안하는 방향의 일관성 대비 개념을 시공간 영역으로 확장하여 움직이는 객체 역시 효과적으로 검출이 가능하다. 추후 연구로는 상위 레벨의 인식 수행을 위해 하향식 정보를 함께 고려한 하이브리드 관심 영역 검출 방법을 개발이 가능하며, 관심 영역 지도를 이용하여 단일 영상에서의 인간 행동 인식 성능 향상 또한 가능하다.
