Current multimedia applications rely on the availability of user-supplied tags in order to retrieve user-contributed images from an image folksonomy. However, the presence of weakly annotated images and non-relevant tags in an image folksonomy hampers the effectiveness of tag-based image retrieval. In this dissertation, we propose novel methods for image tag recommendation in order to mitigate the presence of weakly annotated images in an image folksonomy. In addition, we propose novel methods for image tag relevance estimation in order to mitigate the presence of non-relevant tags in an image folksonomy.
First, we propose a maximum a posteriori-based image tag recommendation method, making use of an image folksonomy that consists of images that are visually related to the seed image used. We evaluate the effectiveness of the proposed method for image tag recommendation by means of the average number of true and false positive tags, using the publicly available MIRFLICKR-25000 image set. Our experimental results show that the use of an image folksonomy for image tag recommendation allows taking advantage of a rich and unrestricted concept vocabulary, compared to the use of conventional approaches for image tag recommendation that make use of a training database with a limited number of images and concepts.
Second, we propose a sparse representation-based image tag recommendation method, again taking advantage of an image folksonomy. Compared to other sparse representation-based methods for image tag recommendation, the proposed method estimates the relevance of a tag with respect to the content of a seed image by taking into account both the local and global distribution of sparse coefficients. We evaluate the effectiveness of the proposed method for image tag recommendation by means of two experiments, taking into account two different imbalanced tag distributions. Our experimental results show that the proposed method allows for more robust estimation of the relevance of a tag with respect to the content of a seed image.
Third, we propose an extensible approach for estimating image tag relevance, using sum rule-based late fusion of tag relevance estimates that have been computed by different techniques, and where these techniques take advantage of different types of features that have been extracted along the image, tag, and user modality of an image folksonomy. As part of this research effort, we also propose a novel method for image tag relevance estimation, making use of both images that are visually similar to the seed image used and images that are visually dissimilar to the seed image used. By means of extensive experimentation with the publicly available MIRFLICKR-25000 and MIRFLICKR-1M image sets, we demonstrate that sum rule-based late fusion of image tag relevance estimates allows increasing the effectiveness of image tag refinement, outperforming several fusion strategies and several monolithic techniques for image tag relevance estimation. In addition, our experimental results demonstrate that image tag relevance estimation by means of both visually similar images and visually dissimilar images is more effective than image tag relevance estimation by means of visually similar images only.
멀티미디어 기기의 확산, 스토리지 가격 하락은 사용자에 의해서 생성된 이미지의 양을 급격하게 증가시켰다. 이렇게 증가한 이미지는 Flickr나 Facebook과 같은 소셜 웹 사이트를 통해서 공유되고 있다. 그리고, 온라인을 통해서 공유되고 있는 이미지에 사용자가 태그를 등록하는 행위가 발생하고 있다. 이를 통해서 생성된 이미지와 사용자 등록 태그, 그리고 그 사이의 관계는 이미지 폭소노미로 정의된다. 현재 이미지 검색 기술은 이미지 폭소노미로부터 이미지를 검색하기 위해서 사용자가 등록한 태그에 의존한다. 하지만, 이미지 폭소노미에 존재하는 태그 부족 이미지와 이미지와 상관없는 태그는 효율적인 태그 기반 검색을 저해한다. 본 논문에서는 먼저 이미지 폭소노미의 태그 부족 이미지 문제를 해결하기 위해서 이미지 태그 추천 방법을 제안한다. 또한, 본 논문은 이미지 폭소노미에 존재하는 이미지와 상관없는 태그 문제를 해결하기 위해서 이미지와 태그 사이의 관계를 예측하는 방법을 제안한다.
첫 번째, 이미지 폭소노미에 존재하는 이미지 중에서 입력 이미지와 시각적으로 관계있는 이미지를 활용한 최대 사후 확률 모델에 기반한 이미지 태그 추천 기술을 제안한다. 제안한 이미지 태그 추천 방법의 효율성은 MIRFLICKR-25000 데이터베이스를 활용한 정확하게 추천된 태그와 잘못 추천된 태그의 평균 값을 통해서 증명하였다. 또한, 실험 결과는 기존의 제한된 어휘를 활용하는 방법에 비해서 이미지 폭소노미를 활용한 제안한 방법이 더 정확하고 다양한 종류의 태그를 추천한다는 것을 보여준다.
두 번째, 이미지 폭소노미를 통한 입력 이미지의 희소 표현 방법에 기반한 이미지 태그 추천 기술을 제안한다. 다른 희소 표현에 기반한 이미지 태그 추천 방법과 달리 제안하는 희소 표현 기반 이미지 태그 추천 방법은 입력 이미지와 후보 태그 사이의 연관성을 희소 표현 인자의 전체 분포뿐만 아니라 지역 분포를 고려하여 예측한다. 제안한 희소 표현 기반 이미지 태그 추천 기술의 효율성은 이미지 폭소노미에 존재하는 태그 분포의 두 가지 불균형 인자를 각각 고려해서 증명한다. 실험 결과를 통해서 기존 방법에 비해서 이미지 폭소노미의 불균형 태그 분포가 실제 상황에 근접할 수록 제안하는 방법이 더 효과적으로 입력 이미지와 후보 태그 사이의 관계를 연관성을 예측하는 것을 증명한다.
마지막으로, 이질적인 방법을 통해서 획득한 이미지와 태그 사이 관계를 합 규칙 기반 다중 융합 방법을 통해서 이미지와 그에 등록된 태그 사이의 관계를 통합하여 측정하는 확장적 방법을 제안한다. 뿐만 아니라, 대상 이미지와 시각적으로 비슷한 이미지와 시각적으로 비슷하지 않은 이미지 모두를 활용한 이미지와 등록된 태그 사이에 관계를 측정하는 기술을 제안한다. MIRFLICKR-25000와 MIRFLICKR-1M 데이터베이스를 활용한 광범위한 실험을 통해서, 합 규칙 기반 다중 연관성 융합 방법이 다른 융합 방법에 비해서 효과적이라는 것을 증명한다. 그리고, 제안한 확장적 방법이 기존의 비확장적 방법에 비해서 효과적임을 보인다. 뿐만 아니라, 본 논문에서 제안한 시각적으로 비슷한 이미지와 비슷하지 않은 이미지 모두를 활용한 방법이 시각적으로 비슷한 이미지를 활용한 방법에 비해서 효과적이라는 것을 증명한다.
