n Scene Recognition, one of the commonly used approach is using the Bag-of-Words(BoW) Model. The BoW approach basically collects local features from different classes/labels and cluster them together to create visual words that best represents all the features gathered. These visual words are used to represent each image through a co-occurence histogram matrix which is used as an observation model for training and testing the classifier. One popular extension done using BoW considers the spatial information of an image. Here, a Spatial Pyramid Matching scheme is used where the co-occurrence matrix are evaluated at every region of different resolutions/pyramid levels, and are cascaded together with fixed weights. This approach has shown great results, and has been considered as state-of-the-art.
In this thesis, we improve Scene Recognition in two ways. First, is to improve codebook generation by creating a novel clustering algorithm which uses label information and an underlying assumption that less entropy clusters result to discriminative codebooks. Second, is having a novel implementation of Multiple Kernel Learning in Scene Recognition by using Spatial Kernels. Two approaches of MKL are investigated particularly Incremental-MKL and Generalized MKL. In Incremental MKL, an Adaboost framework is used where we choose the best pre-defined spatial kernels at every iteration based on the weighted data. Different types of kernel-based weak classifiers were investigated as well, particularly, weakSVM and Dyadic Hypercut. In Generalized MKL, we deal with a non-convex optimization problem which is formed from extending the SVM problem and adding a regularization term. Here, $\ell1$ (sparse) and $\ell2$ (euclidean norm) cases are investigated and optimized. The proposed approach is tested and evaluated using benchmark datasets and is compared with state-of-the-art algorithms. Results shown that Incremental MKL using weak-SVM (SPBoost-SVM) and Generalized MKL - L2 (GMKL-L2) showed comparable if not better results with the state-of-the-art and have much potential for improvement. Also, the codebook generated by our proposed method showed better results at different dictionary sizes. In addition, SPBoost-SVM showed great improvement in speed in recognition as training images are increased.
배경인식분야에서 보통 사용되는 접근법 중의 하나가 Bag-of-Words(BoW)를 이용하는 것이다. BoW를 이용하는 방법은 기본적으로 다른 클래스들로부터 부분적 특징(local feature)를 얻고서 그들을 클러스터하는 방법이다. visual word들은 동시발생 히스토그램 행렬(co-occurrence histogram matrix) 을 통해 각각의 이미지를 묘사할 목적으로 사용된다. 여기서 동시발생 히스토그램 행렬은 분류기(classifier)의 트레이닝과 테스트를 위해 관찰모델(observation model)과 같이 사용된다. BoW를 이용해 확장되어(extension) 많이 사용되는 방법 중 하나는 하나의 이미지가 가지고 있는 공간의 정보를 고려하는 것이다. 공간적 피라미드 매칭 계획법(Spatial Pyramid Matching scheme)은 서로 다른 피라미드 레벨이나 해상도의 모든 부분에서 동시발생 행렬이 평가되는 위치에 사용된다. 그리고 동시발생 행렬이 고정된 가중치와 함께 연속적으로 사용되는(be cascaded) 위치에서도 사용된다. 이 접근법은 지금까지 좋은 결과를 보여주고 있으며 최근의 기술로서 계속 여겨지고 있다.
이번 학위 논문에서는 두 가지 방법으로 배경인식법을 개선시켰다. 먼저 하나의 새로운 코드북 클러스터링 알고리즘을 만드는 것으로 코드북 생성(codebook generation)방법을 개선시켰다. 여기서 새로운 코드북 클러스터링 알고리즘은 라벨 정보를 사용하며 적은 엔트로피 클러스터들이 식별하는 코드북들에게로 결과를 준다고 가정한다. 두 번째 방법은 공간의 커널들(Spatial Kernels)을 이용하여 하나의 새로운 다중 커널 학습(Multiple Kernel Learning)을 구현하는 것이다. 다중 커널 학습은 증가되는 다중 커널 학습법(Incremental-MKL)과 일반화된 다중 커널 학습법(Generalized MKL)으로 나뉘어 연구된다. 증가되는 다중 커널 학습법에서는 하나의 아다부스트(Adaboost) 프레임워크가 사용되는데 이 아다부스트 프레임워크는 가중된 데이터(weighted data)에 기반하여 모든 iteration에서 각각 가장 좋다고 미리 정한 공간의 커널들을 선택하는 곳에서 사용된다. 커널기반의 약분류기들(weak classifiers) 의 다른 타입들이 특별하게 연구되었었는데 weak SVM과 Dyadic Hypercut이 그것이다. 일반화된 다중 커널 학습법에서는 볼록하지 않은 최적화 문제(non-convex optimization problem)를 다루는데 그 문제는 SVM문제를 확장한 것과 하나의 규칙화 항(regularization term)이 추가된 것으로 구성되어 있다. 그 문제에서 밀도가 희박한 경우(sparse case)와 유클리디안 놈의 경우(Euclidean norm case)가 연구되었고 최적화되었다. 제안된 접근방법은 벤치마크 데이터 셋을 이용하여 테스트하고 평가하며 최신의 알고리즘과 비교한다. 그리고 결과를 통해 증가되는 다중 커널 학습법에 weak-SVM(SPBoost-SVM)을 사용한 방법과 일반화된 다중 커널 학습법(GMKL-L2)이 최신의 방법보다 결과가 더 낫지 않다고 하더라도 비슷한 결과를 얻는다는 것을 보이며 개선을 한다면 더 좋은 결과를 얻을 수 있는 가능성이 충분함을 보여준다. 또한 제안된 방법을 사용해 생성된 코드북은 다른 딕셔너리 크기들(dictionary sizes)에서 더 나은 결과를 보여준다. 그리고 SPBoost-SVM은 트레이닝 이미지가 증가되면 인식속도가 더 좋게 개선됨을 보여준다.
