In this dissertation, we study the generalization ability of the features including deep features or traditional features from various sources. To equip higher generalization ability for features to avoid overfitting on training data, we first propose a novel deep neural network architecture with better generalization ability. Furthermore, we study the generic way to increase the generalization ability for deep neural networks in depth. Finally, we propose post-processing methods for the learned features to achieve better generalization ability.
First part of this dissertation is to develop a novel deep convolutional neural network architecture targeted to state-of-the-art image recognition/classification network. The proposed deep neural network architecture so-called deep pyramidal residual network (PyramidNet) is designed with a novel scheme that increases feature map dimension gradually instead of increasing it sharply in downsampling layers as the network depth goes deeper. Moreover, the zero-padded shortcut is employed in each module to meet the increased feature dimension. It turns out that the generalization ability of the model with the proposed network architecture is significantly improved even with the similar training loss compared to the previous model, and the model can achieve the state-of-the-art results on CIFAR-10 and CIFAR-100 datasets. Furthermore, the proposed network architecture produced the state-of-the-art result on ImageNet-1k dataset and still have comparable performance.
Second, the investigation for a general approach for better generalization ability to equip on a certain network architecture is studied theoretically and empirically in depth. It turns out that monotonically increasing feature dimension can take advantage of avoiding a network architecture to be overfitted, and therefore the trained model would have higher generalization ability. Theoretically, the model with monotonic dimension increasing for features yields a larger loss for each subproblem with respect to each weight layer when training, so it is less likely to be overfitted, and the enlarged final dimension also lowering the intrinsic loss bound for better training. Empirically, these conjectures are successfully proved by evaluating the training and test losses of partial models that use a few successive weight layers from the entire model using all the weight layers. In addition, the empirical studies on CIFAR-10, CIFAR-100, and ImageNet-1k dataset with several existing network architectures show the effectiveness of the monotonic feature dimension increase configuration, and this shows that the proposed configuration would be a prerequisite component of network design.
The final chapter contains a post-processing method, which novel feature refinement methods to handle various features including deep learning features or low-level features in respect of feature selection. The proposed feature selection methods reduce the dimension of the original features (including learned features) by selecting discriminative features regardless of the existence of the ground-truth label information to reduce the dimension of original features. The main idea is to perform orthogonal basis clustering and select features simultaneous. Therefore, the features are selected from the clustered features in the projected space, it turns out that discriminative features could be selected from the projected feature space where less informative features are suppressed. After selecting features, the reduced small-dimensional features while well-preserving the capability of the original features are less prone to overfitting, and this is empirically supported by the state-of-the-art results on 15 public datasets with/without the ground-truth label information compared with more than 10 related works.
본 학위 논문에서는 다양한 소스들로부터 deep neural network들로부터 추출되는 deep learning 특징들 또는 고전적인 특징들을 포함하는 특징들의 일반화 능력에 대하여 다룬다. Training data에 overfitting을 막기 위한 높은 일반화 능력을 갖게 하기 위하여, 첫번째로 일반화 능력이 좋은 deep neural network 를 제안하였다. 또한 deep neural network에 일반적으로 적용할 수 있는 일반화 능력 향상 방법에 대하여 깊이 있게 연구하였다. 마지막으로는, 포스트- 프로세싱 방법으로서의 특징의 일반화 능력 향상 방법들을 개발하였다.
첫번째로, 이미지 분류/인식 분야에서 세계 최고 성능 획득을 목표로 한 새로운 deep neural network 구조를 개발하였다. 제안된 network 구조는 deep pyramidal residual network (PyramidNet)이라 명명되었으며 특징 맵의 차원을 깊이가 증가함에 따라 기존의 downsampling 층에서 급격하게 증가시기키는 대신 점진적으로 늘리도록 설계되었다. 또한 이렇게 설계된 구조의 특징 차원 증가에 대응하기 위하여 새로운 zero-padded shortcut을 각 모듈에 사용하였다. 이렇게 설계한 network 구조로 학습된 모델은 기존 모델 대비 거의 같은 training loss 변화를 보이며 일반화 능력이 급격히 향상됨을 보였고 CIFAR-10 과 CIFAR-100 dataset 에서 세계 최고 성능을 달성하였다. ImageNet-1k dataset에서도 한동안 세계 최고 성능을 달성하였고, 여전히 현재 기록과 유사한 성능을 보여주고 있다.
두번째로, 모든 deep neural network 구조에 대하여 일반화 능력을 향상 시 킬 수 있는 범용적인 방법에 대하여 이론적, 실험적으로 검증하고 제안하였다. 제안하는 방식대로 monotonic하게 특징 차원을 증가시키게 되면 해당 network 구조가 overfitting이 방지됨이 드러났고, 따라서 그 network 구조로 학습된 모델의 일반화 능력은 향상된다. 이론적으로는 monotonic하게 특징 차원을 증가시키면 특정 weight 층에 해당하는 부분 문제들의 부분 loss 들의 크기가 증가하게 되고 overfitting 될 가능성이 줄어든다. 또한 마지막 층의 차원의 크기가 작을 때 모델의 내부 loss를 제한하기 때문에 차원의 크기를 크게 사용하는 것이 성능에 큰 영향을 미친다. 실험적으로도 제시한 이론들을 증명하기 위하여 전체 모델을 트레이닝 한 후 부분 모델들을 취하여 학습, 테스트 loss를 측정하여 monotonic하게 특징 차원을 증가 시키는 방법이 이론을 뒷받침함을 확인하였다. 마지막으로 CIFAR-10, CIFAR-100 그리고 ImageNet-1k dataset들을 사용하여 수행한 테스트에서 많은 기본 모델들을 가져와서 각 모델에 monotonic한 특징 차원 증가를 적용할 때 추가적인 성능 향상을 보였고, 따라서 이러한 방법은 network 구조 설계에 있어 필수 요소로 사용될 수 있다.
마지막으로, 포스트-프로세싱 방법으로 제안하는 특징 가공 방법은 deep learning 특징이나 low-level 특징들을 새로운 특징 선택 기법을 통하여 좋은 특징을 선택함으로 일반화 능력을 향상 시킨다. 제안한 특징 선택 방법은 주어진 특징 (이미 학습된 특징 포함)의 분별력이 높은 특징들을 뽑아내는데, 레이블 정보의 유무에 관계 없이 적용 가능하다. 핵심 아이디어는 특징 선택을 수행할 때 orthogonal basis 클러스터링을 동시에 수행함으로써, 불필요한 특징들이 억제된 projection 된 특징 공간에서 더 나은 분별력 있는 특징을 선택해낼 수 있게 된다. 특징 선택이 끝난 후에 선택된 특징들은 차원이 많이 축소된 상태로 성능을 보존하고 있게 되어 overfitting이 될 가능성이 줄어든다. 이것은 15 개의 dataset에서 10 개 이상의 관련 방법들과 성능을 비교하여 세계 최고 성능을 얻어 냄으로써 뒷받침할 수 있다.
