Despite the success of recent Neural Architecture Search (NAS) methods on various tasks which have shown to output networks that largely outperform human-designed networks, conventional NAS methods have mostly tackled the optimization of searching for the network architecture for a single task (dataset), which does not generalize well across multiple tasks (datasets). Moreover, since such task-specific methods search for a neural architecture from scratch for every given task, they incur a large computational cost, which is problematic when the time and monetary budget are limited. In this paper, we propose an efficient NAS framework that is trained once on a database consisting of datasets and pretrained networks and can rapidly search for a neural architecture for a novel dataset. The proposed MetaD2A (Meta Dataset-to-Architecture) model can stochastically generate graphs (architectures) from a given set (dataset) via a cross-modal latent space learned with amortized meta-learning. Moreover, we also propose a meta-performance predictor to estimate and select the best architecture without direct training on target datasets.
인공신경망 탐색법은 전문가가 설계한 네트워크를 현저히 능가하는 네트워크를 찾을 수 있다. 그러나 기존의 인공신경망 탐색법은 다수의 데이터 세트에 대해 일반화되는 것이 아니라 하나의 데이터 세트에 대해 최적화되는 방식이다. 이것은 데이터 세트가 주어질 때마다 인공신경망을 찾는 과정을 처음부터 진행해야 하므로 시간과 예산이 제한되어있는 상황에서는 막대한 비용을 초래할 수 있다. 본 논문에서는 사전 훈련된 네트워크들과 데이터 세트로 구성된 데이터베이스를 기반으로 학습된 후 새로운 데이터 셋에 대해 적절한 인공신경망을 매우 빠르게 찾을 수 있는 효율적인 인공신경망 탐색법을 제안한다. 제안된 MetaD2A 모델은 분할상환 메타 학습으로 학습된 교차 양상 잠재 공간을 통하여 주어진 데이터 세트로 부터 확률적으로 그래프들을 생성할 수 있다. 더욱이, 우리는 목표하는 데이터 세트에 대해 직접적인 훈련 없이 최적의 아키텍처를 추정 및 선택하기 위한 메타 성능 예측기도 제안한다.
