Content-based image retargeting is a technique that resizes an input image to a given target resolution while minimizing distortions of important objects caused by aspect ratio variations. Conventional approaches share the similar methodology which aims to preserve salient regions as much as possible while allowing distortions of trivial regions. Those methods show satisfactory results for input images whose objects are distinct and backgrounds are monotonous. However, their performance is not always guaranteed for images having structural components such as straight lines, which are prone to be distorted after resizing and sensitive to human perceptions. In this thesis, we propose an image retargeting algorithm that is robust for structure preservation. Based on axis-aligned grid, it finds the optimal grid for target image by a quadratic optimization represented by the two objective functions. The first one is As-similar-as-possible (ASAP) energy function, which aims to preserve important regions while allowing distortions of trivial regions. The second one is Adaptive Laplacian regularization (ALR) energy function, which aims to relieve structural distortions. Those two energy functions are combined into single quadratic optimization model ensuring the global convexity and it is solved by quadratic programming solver for the optimal grid. Experimental results show that our method is robust for preserving structural components while achieving the basic purpose of content-based image retargeting. For more reliable comparisons with other methods, we demonstrate objective evaluation scores obtained by the image retargeting quality assessment scheme.
기존의 컨텐츠 기반 영상 리타게팅 기법들은 적용이 쉬운 영상, 예를 들어 단조로운 배경에 중요 물체가 명확히 구분되어 있는 영상에 대해서는 좋은 성능을 보였다. 그러나 기존 기법에서는 영상 내에 직선 성분 등의 구조적 요소가 있는 경우 리타게팅 이후 끊김 또는 휘어짐 현상이 발생하는데, 이러한 구조적 왜곡은 리타게팅 결과 영상의 품질을 크게 저하시키는 원인이 된다. 이 점에 착안하여, 본 논문에서는 원 영상의 구조적 왜곡을 줄이는 리타게팅 기법을 제안한다. 타겟 영상을 위한 최적 그리드(grid)를 얻기 위해 2차 최적화 기법을 사용하였으며, 최적화를 위한 목적 함수는 두 가지로 이루어진다. 첫째는 기존에 제안된 As-similar-as-possible(ASAP) 목적 함수로써, 영상의 중요 컨텐츠의 모양을 보존하기 위한 것이다. 둘째는 본 논문에서 제안하는 Adaptive Laplacian regularization(ALR) 목적 함수로써, 영상 내 직선 성분의 휘어짐 현상을 최소화하기 위한 것이다. 이 두 convex 목적 함수를 더하여 하나의 식으로 만든 후 quadratic programming solver를 적용해 최적 해를 구하게 된다. 리타게팅 공인 데이터셋인 RetargetMe 영상을 비롯한 다양한 영상에 대해 실험을 수행하였고, 실험 결과 제안하는 알고리즘이 구조적 왜곡을 줄임과 동시에 리타게팅의 본래 목적(중요 컨텐츠의 보존)을 달성함을 확인하였다. 성능평가와 관련해서는, 평가의 신뢰성 확보를 위해 객관적 리타게팅 성능평가 시스템을 이용하여 점수를 측정하였다.
