DARTS is a simple and efficient architecture search method using continuous relaxation. In this paper, we suggest a couple of problems in DARTS verified by experiment and provide the solution for each. First, we show that DARTS has difficulties in the exploration of large search spaces, which leads to strong dependencies between operations in the one-shot network. Through experiments, we verify that DARTS cannot effectively find optimal solutions in the search space, and that removing operations in the derivation process of DARTS can highly affect other operations due to strong dependencies. Based on these observations, we propose DARTS In DARTS (DID), which is designed to break dependencies between operations. In DID, we randomly drop a certain number of operations from the search space at every iteration, so that operations do not rely on the others but rather learn useful weight parameters by itself. The main advantage of this method lies on its robustness against pruning of operations, which justifies the derivation procedure as in DARTS. Second, DARTS has a critical problem of inconsistency between the relaxed model and sampled model. We solve this problem by our method called STable ARchiTecture Search (STARTS) that directly trains the sampled models and show improved performance through extensive experiments. Also, this method shows better stability by leveraging weight sharing, which helps to keep consistent sampling ability under various search spaces. STARTS finds the image classifier on CIFAR-10 with almost state-of-the-art performance and the recurrent neural network for language modeling on Penn-Treebank which is comparable to the state-of-the-art model.
DARTS는 컨티뉴어스 릴랙새이션을 이용한 단순하면서도 효율적인 구조 탐색법이다. 우리는 실험적으로 확인한 DARTS의 두 가지 문제들을 지적하고 각 문제에 대한 해결법을 제안한다. 첫째로, DARTS는 오퍼레이션 간의 강한 의존도때문에 큰 탐색공간에서의 탐험에 어려움이 있다. 실제로 실험을 통해 DARTS가 큰 검색공간에서 효율적으로 최적의 해답을 찾지 못한다는 것과 강한 의존도 덕에 DARTS의 네트워크 유도 과정에서 오퍼레이션을 제거하는 것이 다른 오퍼레이션에 큰 영향을 준다는 것을 보였다. 이런 관찰을 바탕으로 우리는 오퍼레이션 간의 의존성을 제거하기 위해 DARTS In DARTS (DID)라는 방법을 제안한다. DID에서는 일정 숫자의 오퍼레이션이 매 이터레이션마다 드롭되고 이로 인해 오퍼레이션끼리 의존하기 보다 좀 더 유용한 파라미터를 배우게 된다. 이 방법의 주요한 이점은 오퍼레이션 수준의 전정에 강인하기 때문에 네트워크의 유도과정을 정당화시킨다는 것이다. 둘째로, DARTS는 릴랙스된 모델과 샘플된 모델 간의 불일치의 문제가 있는데 본 연구에서는 sampled model에 대해서 직접 훈련시키는 방법, STARTS를 제안하고 실제로 이것이 성능을 향상시킨다는 것을 광범위한 실험을 통해 증명하였다. 또한, 이 방법은 파라미터 공유를 기반으로 하기 때문에 다양한 탐색 공간에 대해서 지속적으로 좋은 샘플링 능력을 가진다. 따라서 STARTS는 CIFAR-10에 대해서 거의 최첨단의 이미지 분류기와 Penn-Treebank에 대해서 최첨단 모델과 견주는 언어 모델링을 위한 순환신경망을 찾는다.
