We address scene completion of selfie photos through image search technique to expand the background of those photos. For searching descriptors efficiently, our system quantizes image descriptors for approximate nearest neighbor search, while finding similar images. Moreover, a query image is divided into a grid for weighting to utilize the spatial information of those descriptors. It allows searching similar images based on color and texture so that a result image can be completed with pasting similar images on the border of the query image by Poisson image editing iteratively. Therefore, our system can extrapolate the selfie photo by expanding the background regions where visual information does not exist. After determining the size of result image, our system also generates a creative image without specifying regions for image completion.
본 논문에서는 기존의 풍경 사진 합성방식과 다르게 백만 장의 이미지 데이터셋을 기반으로 자가촬영 사진의 주변 배경을 확장해 나가며 합성하는 알고리즘을 제안하였다. 추출한 이미지 기술자의 효과적인 검색을 위하여 근사 근접 이웃 기반의 프러덕트 양자화 알고리즘을 이용해 기술자를 양자화하여 유사한 사진을 검색하였고, 사진 속 기술자의 위치 정보를 활용하기 위해 블록 형식의 격자 형태로 나누어서 기술자에 가중치를 주었다. 이러한 방식은 색상뿐만 아니라 사진의 질감 또한 고려하여 원본 사진과 유사한 사진의 검색이 가능하고, 유사한 사진에 포아송 이미지 에디팅 기법을 사용하여 반복적으로 주변 사진을 합성하여 결과물을 생성할 수 있다. 이를 통하여 영상 정보가 존재하지 않는 사진 밖 주변 영역으로 사진을 확장시켜 나갈 수 있음을 확인하였다. 또한, 사용자는 기존 원본 사진보다 몇 배 확장 할지만 결정하면 기존의 사진 합성 방식처럼 합성할 영역을 특정하지 않아도 새로운 사진을 생성하는 장점이 있다.
