We significantly expand the field of view of a photograph by structural correlation analysis of photos taken from completely different places on earth. Our method can extrapolate typical photos into complete panoramas by pasting the original image to structurally similar images. The extrapolation problem is formulated in the structure-driven image warping framework. We evaluate likely correspondences between salient structures of both an input image and a searched image with an initial HOG position to generate a transformation for aligning them more precisely. A structure guided image warping method is then proposed to make a composite of two completely different images while preserving the input image. Different from conventional composition methods, our method builds upon a guide curve synthesis process in order to smoothly bridge two different structures while inheriting their characteristics through our novel curve shape transfer method. The guide curve is utilized to warp the searched image and to combine two different images seamlessly. We demonstrate our approach on a variety of natural scenes and compare our results with other extrapolation algorithms.
사진은 촬영을 할 당시 화면비율 및 해상도가 결정되며 이를 다양한 디스플레이 환경에 맞게 사진의 크기를 조절하기 위해 그 동안 다양한 이미지 확장 기법들이 제안되었다. 하지만 현재 다중 프로젝션 및 UHD 디스플레이 기술이 발전하면서 정규 화면비율이라는 것은 의미를 상실하고 있고 기존의 연구는 이러한 Ultra wide 화면 비율에 이미지를 Retargeting 하는 것을 만족하지 못한다. 이를 해결하기 위해 본 논문에서는 인터넷 데이터를 기반으로 주어진 이미지를 검색된 이미지에 자연스럽게 붙여 원하는 화면 비율에 맞게끔 확장하는 것을 목표로 한다. 이미지 검색 속도를 향상시키기 위해 데이터베이스의 이미지들을 분류하고, 이미지간 HOG 및 색 특징 벡터를 비교하여 현재 이미지의 구조적 특성을 내포한 이미지를 찾는다. 주어진 이미지와 데이터베이스의 이미지들은 전혀 다른 장소, 다른 시간, 다른 카메라로 찍힌 것이기 때문에 이를 합성하기 위해서는 이미지의 구조적인 상관관계 분석이 필요하다. 이를 위해서 핵심 곡선을 이미지로부터 분리하고 이러한 핵심 곡선들의 위치, 길이 및 모양으로부터 서로 다른 이미지에서의 곡선들을 서로 정합해 준 후 이를 통해 두 이미지를 가장 잘 정렬 하는 변환행렬을 찾는다. 두 이미지를 이음새가 없이 합성 하기 위해서 본 논문에서는 가이드 곡선 기반 이미지 변형 기법을 제안한다. 가이드 곡선은 제안된 곡선 모양 전이 방법으로 두 정합된 핵심 곡선의 특징을 갖는 것과 동시에 두 이미지의 구조를 매끄럽게 이어준다. 그 후 가이드 곡선을 이용하여 검색된 이미지를 변형 하고 자연스럽게 두 이미지를 합성을 하는 것이 제안하는 방법이다. 본 연구의 실제적 유용성을 평가하기 위해 다양한 종류의 이미지들을 확장하였으며, 다른 이미지 확장 연구와의 비교를 통해 본 연구의 우수성을 입증하였다.
