Neural Architecture Search (NAS) has become a powerful technique for automating the design of neural architectures. However, existing NAS approaches require a significant amount of time to explore and learn a lot number of architectures that are not suitable for a given task. Furthermore, they lack generalization across different tasks and often suffer from leveraging useful knowledge learned from previous NAS tasks. To address these limitations, this study proposes an efficient and generalizable neural architecture search framework for real-world applications. The focus of this research is on designing performance predictors that can rapidly predict the target performance accurately by transferring knowledge learned from previous NAS tasks, while recognizing the dataset, hardware, and knowledge-distillation settings. Moreover, this study introduces neural architecture generation models that can generate task-specific optimized architectures for various tasks through dataset embeddings or guidance from the performance predictor. The proposed generation models efficiently generate task-specific optimized neural architectures by leveraging prior knowledge learned from previous NAS tasks or the distribution of neural architectures. Extensive experiments have been conducted in various domains, including computer vision, natural language datasets, and hardware devices, to validate the performance of this framework. The proposed approach significantly improves architecture search performance compared to previous NAS methods while greatly reducing computational costs.
신경망 아키텍쳐 탐색은 신경망 아키텍처 설계를 자동화하기 위한 강력한 기술이다. 하지만 기존의 신경망 아키텍쳐 탐색 방법은 주어진 작업에 적합하지 않은 신경망 아키텍쳐를 탐색하거나 많은 신경망 아키텍쳐를 학습하여 시간이 많이 걸리는 문제가 있다. 게다가 다양한 작업에 대한 일반화가 부족하며, 이전 신경망 아키텍처 탐색 문제에서 학습한 지식을 활용하지 않고 새로운 작업마다 처음부터 최적의 아키텍처를 찾으며 비효율적인 탐색을 수행한다. 이러한 기존 신경망 아키텍쳐 설계 접근법들의 한계를 극복하기 위해 본 연구는 실세계를 위한 효율적이고 일반화 가능한 신경망 아키텍처 탐색 프레임워크를 제안한다. 이 연구는 먼저 데이터셋과 하드웨어를 인식하며 이전 작업들로부터 학습한 지식을 새로운 작업에 이식하여 높은 정확도로 목표 성능을 빠르게 예측 할 수 있는 성능 예측기를 설계하는데 집중한다. 또한, 이 논문은 데이터셋 임베딩이나 성능 예측기의 안내를 통해 다양한 작업에 대해 작업 최적화 아키텍처를 생성할 수 있는 신경 아키텍처 생성 모델들을 소개한다. 제안된 생성 모델들 또한 이전 작업에서 학습한 지식과 신경 아키텍처 분포에 대한 사전 지식을 활용하여 작업 최적화 신경 아키텍처를 생성하는 데 매우 효율적이다. 다양한 도메인인 컴퓨터 비전, 자연어 데이터셋 및 하드웨어 장치와 같은 분야에서 이러한 프레임워크의 성능을 검증하기 위해 광범위한 실험을 수행하였다. 제안하는 접근법은 계산 비용을 크게 줄이면서 이전 신경 아키텍처 탐색 방법에 비해 아키텍쳐 탐색 성능을 상당한 개선을 이루어 낸다.
