In this dissertation, we discuss two issues on content-based image retrieval (CBIR) in large scale image databases: efficient filtering and retrieval result refinement. Generally, the goal of content-based image retrieval is to find images which are very similar to a query image. The answers are ordered by their similarity scores with respect to the query, which are computed by a retrieval method. As the size of image database grow bigger, it is very time consuming to compare all images in the database with the query for computing their scores. Thus, many methods for image retrieval in large scale image database adopt filter and verification approach, which first filters out irrelevant images quickly and then compares the query with only the relevant ones. In the first part of the dissertation, we propose an efficient filtering method for scalable face image retrieval. In the proposed filtering method, we use a new face image descriptor, called the cell orientation vector (COV). The cell orientation vector has a simple form: a 72-dimensional vector of integers from 0 to 8. However, despite of its simplicity, it achieves high accuracy and efficiency. Our experimental results show that the proposed method based on COVs provides better performance than a recent approach based on identity-based quantization in terms of both accuracy and efficiency.
In the second part of the dissertation, we propose a result refinement method for improving effectiveness of content-based image retrieval. In the method, we precompute the relevance between images in a target database. We utilize the relevance to improve effectiveness of the results computed by a content-based image retrieval method, such as a method based on {\it tf-idf} weighted bag of visual words. To compute the relevance, we model the image database as a graph where each vertex corresponds to an image in the database. Two vertices in the graph are connected by an edge if their corresponding images are judged to be similar to each other. For each image in the database, we get a list of relevant images with respect to the image by applying the random walk with restarts to the graph. When a query is issued, the top-k similar images are retrieved by using a content-based image retrieval method. And then, the proposed method assigns modified scores of a set of candidate answers, which consists of images in the top-k list and their relevant images computed by the random walk with restarts. The modified scores are calculated based on the voting from the images in the top-k list to themselves and their relevant images. The images are ranked based on the modified scores, and the refined top-k list of images is returned to the user. Our experiments on benchmark datasets show that the proposed refinement method can improve the effectiveness of the existing image retrieval methods.
본 논문에서는 대용량 이미지 데이터베이스에서의 내용기반 이미지 검색에 필요한 효율적인 필터링 및 검색 결과 개선에 대해 논의한다. 일반적으로, 내용기반 이미지 검색은 주어진 질의 이미지와 매우 유사한 이미지를 검색하여 사용자에게 반환하는 것을 목표로 한다. 이 때, 데이터베이스의 각 이미지는 질의와의 유사도 점수를 부여받게 되고, 해당 점수에 따라 정렬되어 사용자에게 반환된다. 이미지 데이터베이스의 크기가 커짐에 따라, 데이터베이스의 모든 이미지를 질의 이미지와 비교하여 유사도 점수를 계산하는 것이 매우 긴 시간을 소요하게 된다. 따라서, 많은 이미지 검색 방법들이 필터 및 검증 (filter and verification) 방법을 사용한다. 이 방식은 필터 단계에서 간단하고 빠른 방법을 통해 질의와 무관한 이미지들을 빠르게 걸러내고, 검증 단계에서 필터를 통과한 작은 집합에 대해 질의와 상세 비교를 수행하는 방식으로 수행된다. 본 논문의 첫 번째 부분에서는 내용기반 얼굴 이미지 검색에서의 효율적인 필터링 방법을 제안한다. 이를 위해, cell orientation vector (COV)라는 새로운 얼굴 이미지 기술자(descriptor)를 제안하고, 그것을 통한 필터링을 수행한다. 그리고, 기존 방법과의 비교 실험을 통해 본 논문의 필터링 방법의 효율성 및 정확성을 보인다.
본 논문의 두 번째 부분에서는 내용기반 이미지 검색의 정확도를 향상시키기 위한 검색 결과 개선 방법을 제안한다. 이 방법은 질의 이미지와 데이터베이스 내 이미지 사이의 유사도 만이 아니라 데이터베이스 내 이미지들 사이의 연관성을 고려하여 검색 결과를 개선한다. 이미지 사이의 연관성을 계산하기 위해, 이미지 데이터베이스를 그래프로 모델링한다. 각 이미지에 해당하는 정점을 만들고, 서로 유사도가 높은 두 이미지는 간선으로 연결하여 그래프를 구축한다. 그리고, random walk with restart를 통해 생성된 그래프에서 각 이미지에 대해 그와 연관성 높은 이미지들을 추출해 낸다. 질의 시점에 사용하기 위해 각 이미지 별로 연관성 높은 상위 $k^{\prime}$개의 이미지 목록을 준비한다. 질의 이미지가 입력되면, 기존의 내용기반 이미지 검색 방법을 사용하여 초기 top-$k$ 결과 목록을 생성한다. 그리고, 결과 목록의 이미지들과 그들의 top-$k^{\prime}$ 연관 이미지들을 모아서 후보 집합을 구성한다. 이렇게 생성된 후보 집합의 각 이미지들이 초기 top-$k$ 이미지들과 얼마나 연관성 높은지를 기준으로 새로운 점수를 부여하고, 이를 통해 얻어지는 개선된 top-$k$ 결과 목록을 사용자에게 반환한다. 그리고 벤치마크 데이터셋을 사용한 실험을 통해, 제안하는 검색 결과 개선 방법이 기존 내용기반 이미지 검색 방법으로 얻어지는 초기 top-$k$ 결과의 정확도를 향상시키는 것을 보인다.
