Representing an image as compact and discriminative features is one of the major challenges in many of the real-world image classification tasks in computer vision. One possible approach is to represent an image with high-level descriptors which are semantic and compact representation of the image. The term, high-level descriptors can be considered as human description which humans tend to use when classifying objects. In real-world applications, we often face ambiguous classification problems, involving tremendous variations between intra class objects. However, humans can handily classify the objects by understanding the scenes, which is a starting point of the intelligence. Humans can understand the scene because they use high-level description that carries semantic meaning of visual information. To be specific, humans have the ability to describe an object with attributes, characterizing its visual aspects into lists of words. Composed sets of attributes gain discriminative ability, replacing low-level descriptors in real-world classification. Based on this paradigm, a two-step framework can be considered in a classification task. First, obtain an attribute descriptor (binary state or real-valued score) which is semantic and compact representations of given images. Then classification is performed by a final classifier, which takes the obtained attribute descriptor as its input. Since the attribute descriptor is abstraction of low-level descriptors, it often presents better performance. In this thesis, two novel attribute classifiers based on deep learning are proposed. The efficacy of the proposed models is evaluated on unconstrained face verification and real-world object recognition tasks using the LFW and the a-PASCAL datasets. The potential of deep learning for attribute-based classification was successfully demonstrated by showing comparable results with existing state-of-the-art results. The efficiency of deep learning is that once properly trained it does not require low-level feature extraction against unseen data which is regarded as computationally expensive job.
본 학위논문에서는 사물의 고차원 특징인 속성을 이용한 분류에 대하여 서술한다. 고차원 특징이란, 사물의 추상적인 정보를 담고 있는 특징을 말하며, 인간의 뇌 또한 이러한 특징들을 사용한다고 알려져 있다. 즉, 인간은 사물의 시각적인 특징을 서술하는 단어들을 나열함으로써 사물을 묘사할 수 있다. 예를 들어, ``노란 털, 긴 목, 네 다리와 갈색 얼룩을 가진 동물"은 기린을 지칭한다는 것을 인간은 쉽게 인지할 수 있다. 이 때 기린의 특징들을 서술하는 각각의 단어들을 기린의 속성이라 부르며, 속성들의 조합을 통해 기린을 다른 동물로부터 쉽게 구별될 수 있다. 속성 기반 분류기를 통해 기존의 저차원 특징에 기반한 분류기들에 비해 애매한 분류 태스크에서 좋은 성능을 얻을 수 있다. 최근에 속성 기반 분류에 관한 논문들이 컴퓨터 비젼의 메이저 학회에서 대거 등장하고 있는데 이를 통해 갈수록 이 분야에 대한 연구자들의 관심도가 높아지고 있다는 것을 알 수 있다. 속성 기반 분류의 장점은 다음과 같다.
1. 사물의 클래스를 모르더라도 사물이 지닌 속성들의 나열로서 다른 사물들과 구별될 수 있다.
2. 실생활에서 우리가 접하게 되는 데이터들은 같은 사물이라 하더라도 이미지마다 그 변화가 매우 큰데, 고차원 특징들은 큰 변화들에 대해서 둔감한 특성을 가진다. 사람의 얼굴 이미지를 예로 들면, 같은 인물이더라도 조명변화나, 표정변화, 각도 변화 등에 따라 이미지마다 그 변화가 매우 클 수 있고, 기계 입장에서 완전히 다른 인물로 받아 들일 수 있다. 하지만 그 인물이 지닌 기본적인 속성인 인종, 피부색, 머리카락색 등은 앞서 말한 변화와 무관하게 일관적이라고 볼 수 있다. 이러한 속성들을 이용하면 실제의 얼굴 이미지들에 대하여 좋은 성능을 보이는 분류기를 만들 수 있다.
3. 속성은 입력된 이미지의 함축적이고 간결한 표현이라고 볼 수 있다.
4. 저차원 특징은 사람이 이해할 수 없으나 고차원 특징은 사람이 이해할 수 있다.
일반적으로 특징 기반 분류에서는 크게 두 단계를 거친다. 우선 입력 이미지로부터 저차원 특징들인 LBP, SIFT, HOG, 그리고 Gabor 등을 추출해낸다. 이미지를 그대로 사용하는 것보다 저차원 특징들로 표현하는 것이 다음 단계의 태스크를 수행하는데 있어서 더 유리한 형태이기 때문이다. 앞에서 열거한 저차원 특징 하나만 가지고는 좋은 성능을 기대하기는 어렵고, 태스크에 따라 저차원 특징들을 조합하여 사용하며, 이 때 실험적인 방법이 많이 동원되므로 사람의 손이 많이 가는 작업이라고 할 수 있다. 또한 기존의 저차원 특징들만 이용해서는 변화가 매우 큰 데이터에 대해서 높은 성능을 기대하기는 다소 어렵다고 볼 수 있다. 속성 기반 분류 또한 기존의 저차원 특징 기반 분류와 비슷한 프레임워크를 가진다. 이미지로부터 속성을 얻어낸 후, 얻어진 속성을 최종 분류기에 넣어 태스크를 수행한다. 속성은 저차원 특징에 비해 훨씬 간결한 구조를 지니며 추상적인 정보를 지니고 있기 때문에 사람이 이해가 가능하다. 하지만 기존의 속성 기반 분류기가 지닌 문제점을 지적하자면, 이미지로부터 저차원 특징을 먼저 추출한 후, 다시 이들을 활용하여 고차원 특징인 속성을 얻는다. 앞서 서술한 바와 같이 저차원 특징을 얻는 과정은 번거로운 과정이며 또한 테스트 이미지에 대해서도 마찬가지로 저차원 특징을 얻어야 하기 때문에 시스템의 속도가 느려진다고 할 수 있다. 본 논문에서는 심화학습 기반의 속성 분류기를 제안하여 저차원 특징을 얻는 과정에서 사람의 손을 거칠 필요가 없고, 테스트 이미지에 대해 즉각적인 분류가 이루어진다. 새롭게 제안된 심화학습 기반 속성 분류기는 얼굴 검증과 물체 분류에 대해서 실험을 수행하였다. Labeled Faces in the Wild (이하 LFW) 벤치마크 데이터베이스를 이용하여 얼굴 검증 성능에 대한 실험을 수행하였고, a-PASCAL 데이터베이스를 이용하여 물체 분류에 대한 성능 평가가 이루어졌다. 심화학습 기반 속성 분류는 기존 방법들에 비하여 유사하거나 혹은 더 뛰어난 성능을 보여주었으며, 훈련과정의 간결화와 테스트 이미지에 대한 동작 속도 개선이 이루어졌다. 마지막으로 본 논문은 속성 기반 분류에 있어서 심화학습이 적극 활용될 수 있는 가능성을 보여준다.
