While multi-exit neural networks are regarded as a promising solution for making efficient inference via early exits, combating adversarial attacks remains a challenging problem. In multi-exit networks, due to the high dependency among different submodels, an adversarial example targeting a specific exit not only degrades the performance of the target exit but also reduces the performance of all the other exits concurrently. This fundamental challenge makes multi-exit networks highly vulnerable to simple adversarial attacks. In this paper, we propose a knowledge distillation based adversarial training strategy tailored to multi-exit neural networks. The first component of our architectural solution, adversarial knowledge distillation, guides the output of the adversarial examples to mimic the output of the clean data. The second component, exit-wise orthogonal knowledge distillation, reduces the adversarial transferability across different submodels, significantly improving the robustness against adversarial attacks.
Experimental results on various datasets/models show that our method achieves the best adversarial accuracy with reduced computation budgets, compared to other baselines relying on existing adversarial training or knowledge distillation techniques for multi-exit networks.
다중 출구 네트워크는 한 개의 출구만을 가지는 기존의 딥러닝 네트워크들과는 다르게 네트워크 중간에 출구들을 만들어서 여러 개의 예측을 출력할 수 있는 네트워크를 말한다. 상황에 따라 다른 출구들에서 예측을 할 수 있기 때문에 시간이나 자원 사용에 제한이 있는 상황에서 효율적으로 사용할 수 있다. 하지만 다중 출구 네트워크는 각 출구들 간의 높은 유사성 때문에 한 출구를 목표로 하는 공격만으로 다른 출구들도 무력화시킬 수 있다는 문제가 있다. 이러한 출구들 간의 높은 유사성은 다중 출구 네트워크가 간단한 적대적 공격에도 취약하게 만든다. 하지만 지금까지 다중 출구 네트워크의 강인함에 대한 연구는 거의 없다. 따라서 이 논문에서는 적대적 훈련에 사용할 수 있는 지식 증류 기술을 고안해서 다중 출구 네트워크를 더 강인하게 학습시킨다. 제안한 방법은 적대적 공격에서 추출한 특징과 원본 데이터에서 추출한 특징이 비슷하도록 학습시키고 각 출구들 간의 적대적 전달성을 감소시킴으로써 모델의 강인함을 증가시킨다. 실험 결과에서는 제안한 방법으로 학습시킨 다중 출구 네트워크가 기존의 적대적 훈련 방법들로 학습시킨 다중 출구 네트워크보다 적대적 공격에 대해서는 높은 성능을 보여주고, 원본 데이터에 대해서는 비슷한 성능을 달성하는 것을 보여준다.
