Deep learning is widely known for"black box" technology. If we use deep learning it works well, but we know that there is a lack of knowledge about why it works well. However, most of the existing Deep Neural Networks are week to the "adversarial example" created by making a small perturbation change designed artificially. Training with adversarial examples is one of the measures to make the neural network more powerful. However, applying single-step adversarial examples to adversarial defenses can make the network overfit and can not support the network’s robustness. Single-step training takes less time, but results in poor performance and problems such as over-fitting. As a way to solve it, multi-step training offers the best performance, but it takes a lot of time. Therefore, we propose a methodology, stochastically binarized activation (SBA), which is related to solves the problem of over-fitting in single-stage adversarial training and quickly achieves robustness comparable to multistep training. SBA provides random selectivity for activation functions, weakening adversarial-attack effects and allowing the network to learn robustness with only single step training. Through various experiments, we combined SBA with FGSM adversarial training to experiment with one of the most difficult white box attacks -PGD attack. The results show state-of-the-art robustness. But the computational cost of the experiment is much cheaper. Finally, by visualizing the learning process of the network, we examine qualitatively how well defenses against adversarial attacks.
딥러닝은 "블랙 박스" 기술로 널리 알려져 있습니다. 우리는 딥러닝이 여러가지 과제들로부터 잘 수행하지만 그 이유에 대한 지식이 부족하다는 것을 알고 있습니다. 그러나 기존의 심층 신경망의 대부분은 인위적으로 설계된 작은 변화를 통해 만들어진 "적대적인 예"에 매우 취약합니다. 이러한 공격으로 부터 방어하기 위해 적대적인 예를 데이터셋에 추가하여 학습하여 신경망을 보다 더 정확하게 만드는 방어 기법이 있습니다. 그러 나 이러한 방어 방법에 단일 단계 적대적 예를 적용하면 네트워크가 과적합 할 수 있고 네트워크의 견고성을 지원할 수 없습니다. 단일 단계 교육과 달리 다단계 교육은 MNIST 및 CIFAR10에서 가장 진보된 성능을 제 공하지만 시간이 굉장히 많이 걸립니다. 따라서 우리는 단일 단계 적대적 훈련에서 과적합 문제를 해결하고 다단계 훈련과 비교할 수있는 견고성을 신속하게 달성하는 방법론인 확률적으로 이진화된 활성화 (SBA)를 제안합니다. SBA는 활성화에 대한 임의의 선택성을 제공하여 적이 활성화에 대한 공격 효과를 약화시키며 네트워크가 단일 단계 훈련만으로 충분히 높은 견고성을 배울 수 있도록합니다. 다양한 실험을 통해 SBA와 FGSM 적대적 방어 훈련을 결합하여 가장 어려운 화이트 박스 공격 중 하나인 PGD 공격을 실험했습니다. 결 과는 최첨단 견고성을 보여줍니다. 하지만 실험과정에서 소요되는 계산 비용이 훨씬 낮습니다. 마지막으로 SBA를 통해 네트워크의 학습 과정을 시각화했습니다.