Object recognition and classification is a basic and essential part of computer vision. As deep convolutional neural networks emerged, there was huge success in object recognition and classification tasks. However, classification in datasets with many classes (over 100 classes) is still challenging. Examples include ImageNet 1K dataset and Cifar100.
To improve performance in datasets with many classes, many approaches have been proposed. Regularization techniques[11,12,13,14], structural approaches[1,2,3,4,5,6,7], data augmentation[15, 16], and new activation functions[17,18,19] have been proposed.
In this paper I take a structural approach.
In recent years many structures have been proposed: LeNet[6], AlexNet[7], GoogleNet[5], Residual Networks(ResNet)[3] Pyramidal Residual Networks(Pyramid ResNet)[1] and Densely Connected Convolutional Neural Networks(DenseNet)[2].
Among these structures, Pyramid ResNet and DenseNet are the current state of the art.
In particular, the Densely Connected Convolutional Network is an efficient structure in number of parameters and computational cost.
Though DenseNet is very efficient in parameters and computation complexity, recently it has become known that there exist inefficiencies.
In this paper I focus on inefficiencies in DenseNet. I investigate problems in linearly increasing input feature dimensions in DenseNet. To solve this problem, I propose a structural approach that exponentially increases input feature dimension of units as unit index increases.”
Experiments on Cifar100 show that proposed structure has the same or higher recognition accuracy than Pyramid ResNet and DenseNet for identical number of parameters (0.8M and 1.7M) with 1/2 to 1/3 computational cost.
물체 인식과 분류는 컴퓨터 비전에 있어서 필수적인 부분이자 기본이다. 딥 컨벌루션 신경망이 발전함에 따라 물체 인식과 분류 분야에서는 큰 진보가 있었다. 그럼에도 불구하고 많은 클래스를 가진 데이터 셋, 예를 들어 이미지넷 1케이 데이터 셋과 사이파100에서의 분류 작업은 여전히 어려운 작업이다.
이러한 데이터셋에서의 분류 성능을 올리기 위해서 여러가지 방법이 제안되었다. 규칙화 기법[11,12,13,14], 구조적 접근[1,2,3,4,5,6,7], 데이터 확대[15, 16], 새로운 활성화 함수[17,18,19] 등이 제안되어왔다.
이 논문에서 나는 구조적 접근에 초점을 맞추었다.
최근에 르넷[6], 알렉스넷[7], 구글넷[5], 레지듀얼네트워크[3] 피라미달 레지듀얼네트워크 [1] 그리고 덴스넷[2]등의 다양한 구조들이 제안되었다.
이러한 구조들 중 현재 최신의 구조는 피라미드 레즈넷과 덴스넷 이다.
특히 덴스넷은 파라미터 수와 계산 비용에 있어서 효율적인 구조이다.
그런데 비록 덴스넷이 계산 비용과 파라미터 수에 있어서 매우 효율적이지만, 최근에 알려진 바로는 여전히 큰 비효율성이 존재하고 있다.
이 논문에서 나는 덴스넷에 초점을 맞추어 덴스넷에서 선형적으로 증가하는 입력 피쳐 차원에서의 문제를 조사하였다. 그리고 이 문제를 해결하기 위해 입력 피쳐 차원을 지수적으로 증가시키는 구조적인 접근을 취하였다.
제안된 구조의 사이파 100에서의 실험결과는 피라미드 레즈넷과 덴스넷과 같은 파라미터 수에서 같거나 더 높은 인식률을 보이고 또한 계산 비용은 피라미드 레즈넷과 덴스넷의 2분의 1에서 3분에 1에 불과한것으로 나타났다
