A design of convolutional neural network (CNN) architectures has become essential for computer vision and machine learning.
There are various ways to determine the best CNN structure for adapting to different tasks and datasets.
However, most of the CNN structures are still designed by heuristics or professional opinions.
In this work, we propose an adaptive CNN which data-dependently searches for the effective size of filters and its distribution.
We demonstrate that the filter sizes used in deep CNNs can also be optimized through gradient-based learning.
The main idea to enable the adaptive CNN to automatically allocate of resources over different filter sizes.
The proposed adaptive CNN has a mask, which enables the automatic allocation of resources over different filter sizes.
The mask is differentiable and can be optimized through usual gradient-based methods with the weights simultaneously.
Most importantly, the proposed adaptive CNN generalizes both a single-path structure and a multi-path structure.
The adaptive learning of the convolutional structure is evidenced by several benchmarks, compared with various structures, all of which have the same depth and number of channels, but different filter sizes.
컨볼루션 신경망 구조의 설계는 컴퓨터 비젼과 머신 러닝 커뮤니티에서 필수적인 요소가 되어가고 있다.
각기 다른 과제나 데이터셋에 적합한 컨볼루션 신경망의 구조를 찾기 위해 많은 알고리즘이 등장했지만,
대규모 데이터셋을 위해 가장 최적화된 컨볼루션 신경망 구조를 찾는 것은 여전히 시행 착오를 통한 검색이나 무작위 검색에 비롯하여 설계되고 있다.
본 논문에서는 큰 규모의 시각적 인식 과제를 위한 대규모 컨볼루션 신경망의 효율적인 필터 사이즈와 그 필터 사이즈의 분포를 최적화시키는 방법을 제안한다.
제안하는 적응 컨볼루션 신경망 검색 알고리즘은 학습 가능한 마스크를 가지며 학습된 마스크의 크기에 따라 입력 데이터와 목적 함수에 따라 최적화된 모델의 필터 사이즈와 그 분포를 할당시킬 수 있다.
마스크를 이용한 컨볼루션 신경망 검색은 일반적인 인공 신경망의 학습 방법처럼 경사 하강법을 이용하여 가중치들과 동시에 학습된다.
가장 중요한 점은 제안하는 마스크를 이용한 적응 컨볼루션 신경망 구조는 단일 경로 모델과 다중 경로 모델 모두를 일반화 할 수 있다는 점이다.
외부 루프가 없이 한 번의 내부 루프 학습을 통해 얻어진 모델은 여러 벤치마크 데이터셋의 테스트를 통해 검증되며 다른 기준 모델에 비교해 유사하거나 뛰어난 성능을 보인다.
