Rapid advances in science and technology have produced a large amount of image data in various areas. We often need to store, manage, and retrieve image data to perform assigned tasks and to make intelligent decisions. Content-based image retrieval (CBIR) methods have been developed in recent years for distinguishing useful images from extraneous ones, and for retrieving relevant images that satisfy user interests. In general, a CBIR system extracts visual features from an image, transforms the image into a feature vector, and calculates the similarities between a query image and images stored in the database. Then, it presents a sequence of images in decreasing order of similarity by ranking. Users evaluate the effectiveness of a CBIR system by the ranked results, but the relevant images are often not at the top of the rankings. Even if a system finds particular relevant images, many others may be substantially further down in the ranking. To remedy this problem, more accurate retrieval methods based on analyzing the visual features are required.
In this thesis, we propose a retrieval method using post-retrieval clustering for CBIR. We classify the retrieved results into sub-groups via a post-retrieval clustering method. The sub-groups so formed should be such that members of the same sub-group have a high degree of association to each other and a low degree of association to members of other sub-groups. Thus, when images are re-ranked according to the proposed algorithm, the images of the cluster that is nearest to the query image could achieve a rank higher than they did in the originally calculated rank. In addition, we analyze the effects of clustering methods, query-cluster similarity functions, and weighting factors in the proposed method. We conducted a number of experiments using several clustering methods and cluster parameters. Experimental results show that the proposed method achieves an improvement of retrieval effectiveness of over 10 % on average and more than 30% in best cases, based on the ANMRR (Average Normalized Modified Retrieval Rank) measure.
We also address the problem in web image retrieval. Web image retrieval has characteristics different from typical content-based image retrieval; web images have associated textual cues. However, a web image retrieval system often yields undesirable results, because it uses limited text information such as surrounding text, URLs, and image filenames. To alleviate this problem, we propose a new approach to retrieval, which uses the image content of retrieved results without relying on assistance from the user. Our basic hypothesis is that more popular images have a higher probability of being the ones that the user wishes to retrieve. According to this hypothesis, we propose a retrieval approach that is based on a majority of the images under consideration. We define four methods for finding a majority of images; (1) majority-first method, (2) centroid-of-all method, (3) centroid-of-top K method, and (4) centroid-of-largest-cluster method. In addition, we implement a graph/picture classifier for improving the effectiveness of web image retrieval. We evaluate the retrieval effectiveness of both our methods and conventional ones by using precision and recall graphs. Experimental results show that the proposed methods are more effective than conventional keyword-based retrieval methods.
Extensive experiments with data collections show that the proposed methods improves retrieval effectiveness, compared to the previous methods. In addition, we evaluate various color/texture representation methods, and analyze the effectiveness of combining homogeneous features. In future work, we plan to study about region-based image retrieval with relevance feedback, and classification-based adaptive retrieval in combining the visual features for improving the retrieval performance.
기술의 발전으로 인해, 교육, 엔터테인먼트, 디지털 라이브러리, 의학 등 다양한 분야에서 방대한 양의 이미지 데이터들이 생성되게 되었다. 이미지 데이터가 증가함에 따라, 데이터들을 효율적으로 저장, 검색하기 위한 기법들이 필요하게 되었고, 이에 대한 많은 연구들이 진행되고 있다. 그러나 기존의 키워드 기반 검색방법으로는 다양한 이미지들의 특성들을 잘 반영하지 못하는 한계가 있으며, 이에 보다 효과적인 이미지검색을 위한 내용기반이미지검색 (CBIR : Content-Based Image Retrieval)기법들이 필요하게 되었다. 일반적으로 내용기반 이미지검색 시스템에서 이미지는 시각 특징들의 벡터 집합으로 표현되고, 이미지검색은 질의이미지와 데이터베이스에 저장되어 있는 이미지들의 시각 특징 벡터들사이의 유사도를 계산함으로써 수행된다. 유사도 값에 따르는 순위로 검색 결과들이 결정되며, 이에 따라 이미지 검색기법에 대한 성능평가가 이루어진다. 그러나, 많은 경우 이미지 검색 시스템의 결과는 유사하지 않은 이미지들이 상위 순위에 위치하게 되는 결과들이 발생하게된다.
본 논문에서는 이러한 문제를 분석하여, 보다 효과적인 이미지 검색을 수행하기 위한 새로운 이미지 검색방법을 제안한다. 제안하는 방법의 기본적인 접근방법은 이미지 특징에 기반하여 이미지를 검색한 후, 검색된 이미지들의 상관관계성을 클러스터링을 이용하여 분석한 후, 이를 검색에 적용하는 방법이다. 제안하는 방법이 이미지 검색에 있어서 효과적임을 보여주기 위하여, 일반적인 이미지 검색 영역과 웹기반의 이미지 검색 영역에 대하여 두가지 방법론을 제시하고, 실험을 통하여 성능 향상이 있음을 보여주었다.
제안하는 첫번째 방법은 내용기반 이미지 검색에서 동적 클러스터링 방법을 적용한 성능향상 기법이다. 기존의 영상검색 방법들에서는 유사하지 않은 검색 결과가 상위순위에 위치하는 잘못된 결과를 자주 보여준다. 이러한 문제를 보완하기 위해서, 본 논문에서는 검색된 결과들의 상관성을 클러스터링 방법을 이용하여 검색에 적용한다. 제안한 방법에서는 먼저 색상 히스토그램과 같은 시각 특징 벡터를 이용하여 영상검색을 수행하고, 다음으로 검색된 결과들에 대해서 HACM (Hierarchical Agglomerative Clustering Method)를 이용한 동적 클러스터링을 수행한다. 클러스터링을 통해 분석된 이미지 데이터들에 대해 분석에 따르는 유사도값 조정 알고리듬을 적용하여 검색 결과를 재결정한다. 실험을 통해, 제안한 방법은 클러스터링을 사용하지 않는 방법에 비해 평균 10%, 최대 30%의 성능향상이 있었음을 보여주었다. 본 논문의 실험은 MPEG-7 색상 테스트 영상 데이터베이스를 이용하여 테스트하였으며, 검색 평가를 위해 ANMRR (Average Normalized Modified Retrieval Rank)방식을 적용하였다.
두번째 방법으로 웹이미지 검색에 있어서, 다수성 (majority)를 이용한 성능향상 기법을 제안한다. 웹 이미지는 일반적인 이미지 데이터들과 달리, 이미지 파일명 이나 포함된 웹페이지등과 같이 간단한 텍스트 정보를 포함한다. 일반적으로 웹 이미지 검색에서는 이러한 텍스트 정보를 이용해 이미지들을 검색하고, 사용자의 적합성 피드백 (relevance feedback)을 이용하여 이미지 입력을 선택하게 된다. 그러나 텍스트 정보를 이용한 이미지 검색 결과는 좋은 결과를 보여주기는 하나, 텍스트 정보만을 이용하므로 원하는 이미지들이 검색 상위에 포함되지 않는 문제점을 가지고 있다. 이러한 문제를 보완하기 위하여, 본 논문에서는 텍스트 검색시, 클러스터링을 통한 이미지 특징 벡터의 자동 추출을 통하여 보다 효과적인 검색 방법론을 제안한다. 제안한 방법은 다수성 우선 결정방법 (majority first method), 최대크기 클러스터의 중심값 방법 (centroid-of-largest-cluster method), 상위 K 이미지 중심값 방법 (centroid-of-top K method), 전체 이미지 중심값 방법 (centroid-of-all method)의 4가지 방법으로 이들 각각에 대한 검색 성능 평가를 수행하였다. 본 방법의 실험은 기존의 키워드 기반의 검색방법에 의한 상위 200개의 이미지를 이용하여 수행되었으며, 정확율/재현율 그래프 (precision/recall graph)를 통하여 제안된 방법의 검색 효율이 기존 검색 기법에 비하여 향상되었음을 보여준다.
이러한 두가지의 방법론을 통하여 본 논문에서는 검색된 결과의 상관성을 이용하여 검색성능을 향상시키는 새로운 검색방법에 대하여 제안하고 다양한 실험을 통하여 제안한 방법이 기존의 방법보다 성능이 우수함을 검증하였다. 또한 다양한 이미지 표현 방법들의 성능을 테스트 하였으며, 각 방법들의 결합을 통해 성능향상이 이루어지는 조건들에 대한 분석을 수행하였다. 이러한 연구들을 기반으로 향후 이미지 검색성능을 향상 시키기 위한 적합성 피드백을 이용한 리젼 기반 이미지 검색 (region-based image retrieval using relevance feedback)과 시각 특성 벡터의 결합에 있어서 분류기법에 기반한 적응적 가중치 방법 (adaptive weighting in combining the image features based on image classification)에 대한 연구를 수행할 예정이다.
