The bag-of-visual words (BoW) models have widely been studied for image classification in a computer vision area. However, since the BoW models are mostly based on histograms, they have a limitation in discovering the distributions of visual words within images for semantic scene analysis. Therefore, there has been an attempt to use the Latent Dirichlet Allocation (LDA) model for image scene classification by revealing the latent topic distributions as feature vectors for visual words. Based on the LDA model, each image is represented by word distributions with their latent topics, which can capture semantic regularities in the image. Many previous LDA models, however, are not capable of dealing with spatial information of visual words in images, especially visual saliency which is important in scene classification and understanding. In this dissertation, the LDA model is extended, which is called saliency-weighted LDA (swLDA), by accommodating the visual saliency into the topic distribution inference for visual words in order to capture a human’s perception characteristic that image classification is often performed with focus of attention on salient regions in images. For this, all training images are first divided into image patches which are then grouped into salient and non-salient regions based on saliency maps. Then, the topic distributions of visual words are learned with saliency weights of visual words in the salient and non-salient regions separately. During the training phase, these saliency weights are learned by the swLDA model for image scene classification, which are to be used in the testing phase. While the previous LDA models parameterize the topic distributions of visual words by a single topic distribution, our proposed model incorporates saliency maps to separate the input images into salient and non-salient regions for which their respective topic distributions are computed independently. In order to show the effectiveness of the swLDA model for image scene classification, we present experiment results which reveal that the swLDA model effectively incorporates visual saliency as focus of attention to mimic the human perception behavior and outperforms the previous LDA models in terms of image classification precision.
컴퓨터 시각 연구 분야에서 이미지 분류를 위해 시각적 단어 군집(bag-of-visual words) 모델이 널리 연구되었다. 그러나 시각적 단어 군집 모델은 대부분 히스토그램을 기반으로 하기 때문에 의미론적 장면 분석을 위해 이미지 내에서 시각적 단어의 분포를 발견하는 데 한계가 있다. 따라서 이미지 장면 분류를 위해 잠재적인 토픽 분포를 시각적 단어의 특징 벡터로 나타냄으로써 잠재 디리클레 할당 (Latent Dirichlet Allocation) 모델을 사용하려는 시도가 있었다. 잠재 디리클레 할당 모델을 기반으로 각각의 이미지는 이미지의 의미 있는 규칙성을 포착할 수 있는 내재되어있는 주제와 함께 단어 분포로 표현된다. 그러나 기존의 잠재 디리클레 할당 모델을 이용한 연구에서 이미지에서 시각적 단어의 공간 정보, 특히 장면 분류 및 이해에 중요한 시각적 관심 영역을 다룰 수 없었다. 본 학위 논문에서는 잠재 디리클레 할당 모델을 확장하여, 시각적 단어에 대한 주제 분포 추론에 시각적 관심 영역을 반영하는 중요도 가중치 잠재 디리클레 할당 모델 (saliency-weighted LDA, swLDA)을 제안한다. 제안 모델을 통해 이미지 분류를 위해 이미지 내의 관심 영역에 초점을 맞추는 인간의 인지 특성을 반영할 수 있다. 이를 위해서, 모든 훈련 이미지를 먼저 이미지 패치로 나눈 다음 관심 영역 지도를 기반으로 두드러진 영역과 두드러지지 않은 영역으로 그룹화한다. 그 후에 시각적 단어의 주제 분포는 시각적 단어의 중요도 가중치와 함께 두드러진 영역과 두드러지지 않은 영역에서 각각 학습된다. 학습 단계에서 이미지 장면 분류를 위해 중요도 가중치 잠재 디리클레 할당 모델(swLDA)로 학습된 이러한 중요도 가중치는 테스트 단계에서 사용된다. 이전의 잠재 디리클레 할당 모델(LDA)은 단일 토픽 분포에 의해 시각적 단어의 주제 분포를 매개 변수화 하였지만, 제안하는 모델은 이미지를 두드러진 영역과 두드러지지 않은 영역을 분리하기 위해 관심 영역 지도를 적용하였으며, 분리된 영역에서 각각 주제 분포가 독립적으로 계산된다. 이미지 장면 분류를 위한 중요도 가중치 잠재 디리클레 할당 모델(swLDA)의 효과를 증명하기 위해 다양한 실험 결과를 제시하였고, 이를 통해 사람의 인지 특성을 모방하는 제안 모델이 시각적 중요도를 효과적으로 통합하여 기존 잠재 디리클레 할당 모델(LDA)보다 우수한 성능을 보인다는 것을 이미지 분류 성능을 측정하여 증명하였다.
