Deep convolutional neural networks (deep CNN) have been breaking the records in various fields of study in computer vision, especially in object classification. However, there exists a fundamental limitation in standard visual recognition model that uses N-way discrete classifiers. It assumes all class labels to be mutually exclusive, which clearly violates the intrinsic relationships among them. That is, they do not capture the hierarchical structure of real world objects. As a result, a model trained under this constraint naturally gives up potential benefits of knowledge transfer between similar classes.
In this paper, we propose an integrated method that successfully overcomes such drawback by exploiting hierarchical structure of classes when training deep neural networks. Semantic hierarchy can either be predefined by the dataset or learned by clustering the class labels on two different feature spaces, words and images. The word vector is trained using skip-gram neural network language model and the image features are learned using standard deep CNN. We obtain a new semantic hierarchy by clustering the feature vectors in each spaces. We then introduce a simple and straight forward method, hierarchical pre-training and fine-tuning, which first pre-trains the model based on the learned or predefined super classes and then fine-tunes the model using finer categories. This hierarchical training scheme is applied to two baseline convolutional neural networks and demonstrates state-of-the-art results on CIFAR-100 benchmark.
최근 깊은 콘볼루션 신경망 모델을 활용한 모델들이 대량의 데이터를 기반으로 물체 인식을 비롯한 댜앙한 컴퓨터 비전 분야에서 뛰어난 성능을 보이고 있다. 하지만, 물체 분류에서 일반적으로 사용되는 다수의 물체를 동시에 분류하는 접근 방법 (Multi-class classification) 의 경우, 서로 다른 클래스 라벨들을 상호 배타적이라고 가정하는 데에서 기인한 근본적인 문제가 있다. 어떠한 모델이 N 개의 다른 카테고리를 분류하게 하기 위해 물체 A를 나머지 N-1 개의 물체들과 전혀 상관관계가 없다고 가정하는 것은 실제 다양한 클래스 라벨들의 복잡한 관계를 고려했을때 매우 비현실적인 접근 방법이다. 이러한 가정은 학습시킬 모델이 분류해야 할 카테고리의 개수가 늘어나면 늘어날수록, 점점 더 큰 스케일의 분류기를 학습하는 방향으로 나아갈수록 더 대두된다. 뿐만 아니라 비슷한 카테고리에 속하는 이미지들을 학습할 때 기대할 수 있는 지식이전 (Knowledge transfer) 의 이득을 무시하게 된다.
위 논문에서는 이 문제를 해결하고자 클래스들의 계층구조를 활용하여 깊은 콘볼루션 신경망 모델을 학습시키는 계층적 학습 방법 (Hierarchical training) 을 제안한다. 클래스 라벨들 간의 계층적 연관구조는 데이터로부터 주어지거나 두 가지 접근 방법을 통해 새로 학습할 수 있다. 신경망 언어 모델 (Neural network language model) 로부터 추출된 단어들의 특징 벡터들을 군집화 시키는 방법과 깊은 컨볼루션 신경망 모델로 학습한 이미지들의 특징벡터들을 이미지 영역에서 군집화 시키는 방법을 통해 새로운 계층구조를 찾는다. 이렇게 얻은 라벨들간의 계층 구조를 활용하여 넓은 카테고리로 먼저 분류하는 계층적 선학습 (Hierarchical pre-training) 및 세부적 카테고리로 분류하는 계층적 미세조정학습 (Hierarchical fine-tuning) 방법을 적용한다. 총 2개의 깊은 신경망 모델에 대하여 CIFAR-10 및 CIFAR-100 데이터에 대해 실험하였고 CIFAR-100 데이터의 경우 state-of-the-art 성능을 보였다.
