Recent neural architecture search (NAS) frameworks have been successful in finding optimal architectures for given conditions (e.g., performance or latency). However, they search for optimal architectures in terms of their performance on clean images only, while robustness against various types of perturbations or corruptions is crucial in practice. Although there exist several robust NAS frameworks that tackle this issue by integrating adversarial training into one-shot NAS, however, they are limited in that they only consider robustness against adversarial attacks and require significant computational resources to discover optimal architectures for a single task, which makes them impractical in real-world scenarios. To address these challenges, we propose a novel lightweight robust zero-cost proxy that considers the consistency across features, parameters, and gradients of both clean and perturbed images at the initialization state. Our approach facilitates an efficient and rapid search for neural architectures capable of learning generalizable features that exhibit robustness across diverse perturbations. The experimental results demonstrate that our proxy can rapidly and efficiently search for neural architectures that are consistently robust against various perturbations on multiple benchmark datasets and diverse search spaces, largely outperforming existing clean zero-shot NAS and robust NAS with reduced search cost.
본 논문에서는 다양한 노이즈에 견고한 뉴럴 아키텍처를 빠르게 탐색하는 방법을 제안한다. 기존 뉴럴 아키텍처 탐색은 원본 이미지만 고려하여 최고의 성능을 내는 아키텍처를 탐색하지만, 실생활에서는 원본 이미지를 손상하는 다양한 노이즈가 존재하기 때문에 견고성을 고려해야 한다. 기존의 견고한 뉴럴 아키텍처 탐색은 적대적 학습을 적용해 적대적 이미지에 견고한 뉴럴 아키텍처 탐색법을 제시했지만, 적대적 이미지만 고려하며 하나의 태스크에도 매우 큰 계산 비용을 필요로하여 실용적이지 않다. 본 논문에서는 초기화된 모델의 원본 이미지와 노이즈가 포함된 이미지에 대한 특징 정보, 파라미터, 그래디언트 사이의 일관성을 바탕으로 다양한 노이즈에 대한 아키텍처의 견고성을 추정하는 방법을 제시한다. 제안한 경량 프록시는 기존 뉴럴 아키텍처 탐색에 견주어 여러 태스크와 탐색 공간에서 다양한 노이즈에 대해 견고한 특징 정보를 배울 수 있는 뉴럴 아키텍처를 빠르고 효율적으로 탐색할 수 있음을 보였다.
