Photo collections and its applications today attempt to reflect user interactions in various forms including face tagging, photo effects, etc. Moreover, photo collections incorporate user intention induced applications to reflect the users' manipulative intentions on photo collection content. Some examples of user intention induced applications include inserting or deleting objects in photos, creating artistic expressions and data visualization for large image collections, \emph{etc}.
Although these applications can reflect user intentions on photo manipulation, they require explicit participation from the user.
Our work aims to capture the user's intention via an implicit process mainly based on predicting human interest regions.
Human interest regions in an image carry powerful information about the user's visual behavior and can be used in many of the aforementioned applications. In the computer vision community, research on human visual attention has been conducted in the form of gaze tracking and computational saliency models, and has shown considerable progress.
Computational saliency models aim to generally predict where humans focus their attention on in an image, in the form of a saliency map.
On the other hand, implicitly calibrated gaze estimation (or calibration-free gaze estimation) utilizes saliency maps and eye images of the user to roughly predict user gaze directions.
We present an integration between implicit gaze estimation and computational saliency model to effectively estimate human attention regions in images on the fly. Furthermore, our method estimates human attention via implicit calibration and incremental model updating which does not require any form of active participation from the user. Thus, a person can simply explore one's personal photo collection and automatically obtain image attention regions via our method.
For experimental evaluation, we use the MIT1003 dataset and assess our method on 10 subjects. The experiment is divided into two parts each concerning the gaze estimation part and the final attention map prediction part. Our results show superior quality compared to other methods and assessment criteria.
We also present extensive analysis and possible applications for personal photo collections. Firstly, we present personal saliency generation and evaluate the quality on individual subjects. Secondly, we present region suggestion for tagging on personal photos and evaluate the quality via manually labeled ground truth regions. Lastly, we present photo retrieval via saliency region query which allows photo search in a vast collection of personal photos through querying personal interest regions.
오늘날의 사진앨범 응용 프로그램을 비롯한 개인 사진첩과 관련된 기술들은 사용자의 상호작용을 여러 가지 형태로 반영하고 있습니다.
얼굴 검출, 사진 효과, 등의 응용 기술들에 그치지 않고 사용자의 사진 조작 의도를 자동으로 인식하는 응용기술에 대한 연구가 진행되고 있습니다.
즉, 개인의 사진 앨범을 조작하고자 하는 사용자의 의도를 자동적으로 인식하는 기술이 주목 받고 있다.
이러한 사용자 의도 인식을 응용한 기술의 예로 사진에 나타난 사물 삭제, 개인 사진의 데이터 시각화 등이 있습니다.
사용자의 의도를 인식하는 데에 사진에 관심영역을 알아내는 것이 중요하고 사진에 대한 고급 정보를 지니기 때문에 인식에 큰 도움을 줍니다.
이러한 응용 기술은 사람의 적극적인 참여를 요한다는 단점을 지니고 있습니다.
이 논문에서는 사용자의 의도를 사용자의 간접적인 참여를 통한 사진 영상에 관심영역을 검출하고자 합니다.
컴퓨터 비전 연구에서는 이러한 인간의 시각 행위에 대한 연구로 시선 추정과 영상의 계산적 관심영역 검출이 있고 최근에 큰 발전을 보였습니다.
계산적 관심영역 검출은 일반적으로 사람이 임의의 사진을 봤을 때 그 사진에서 어느 곳에 주목하는지를 측정하는 분야입니다.
무보정 시선 추정 기술은 이 관심영역을 토대로 사람의 주목지점을 추정하는 기술입니다.
이 논문에서는 계산적 관심영역 검출과 무보정 시선 추정을 통합하여 사용자가 실제로 어느 지점을 응시하는지를 측정하는 방법론을 논하고 있습니다.
이 기술은 실시간이 가능하며, 점진적인 학습을 통해 사용자의 적극적인 참여를 요하지 않습니다.
실험적인 검증을 위해 MIT1003 데이터를 사용하였고, 10명의 실험자를 대상으로 실험을 진행하였습니다.
실험은 두 부분으로 나누어져 있는데, 먼저 무보정 시선 추정 성능에 대한 실험이고, 그 다음은 최종적인 관심 영역 검출에 대한 성능 실험입니다.
이 논문에서는 실험결과와 더불어 가능한 응용 기술을 소개합니다. 첫 번째로, 개인 관심영역 추정 응용기술, 두 번째로, 사진에 대한 태깅 제시, 세 번째로,
관심영역을 입력으로 한 사진 검색입니다.
