In general, Deep Neural Networks (DNNs) are evaluated by the generalization performance measured on unseen data excluded from the training phase. Along with the development of DNNs, the generalization performance converges to the state-of-the-art and it becomes difficult to evaluate DNNs solely based on this metric. The robustness against adversarial attack has been used as an additional metric to evaluate DNNs by measuring their vulnerability. However, few studies have been conducted to analyze the adversarial robustness in terms of geometry of DNNs, and in particular, there are not enough indicators to represent clear correlations between the internal properties and adversarial robustness. In this work, we perform an empirical study to analyze the internal properties of DNNs that affect model robustness under adversarial attacks. In particular, we propose the novel concept of the Populated Region Set (PRS), where training samples are populated more frequently, to represent the internal properties of DNNs in a practical setting. From systematic experiments with the proposed concept, we provide empirical evidence to validate that a low PRS ratio has a strong relationship with the adversarial robustness of DNNs. We also devise PRS regularizer leveraging the characteristics of PRS to improve the adversarial robustness without adversarial training.
일반적으로 신경망의 강건성에 대한 지표로서 적대적 공격에 대한 시험 성능이 사용된다. 그러나 현존하는 연구들에서는 기하학적 관점에서의 신경망 내부 속성과 적대적 강건성과의 분석이 충분하지 않으며, 특히 이 사이의 명확한 상관관계를 나타낼만한 지표가 결여되어 있다. 본 논문에서는 신경망의 강건성에 영향을 미치는 내부 속성을 분석하기 위해 경험적인 연구를 수행한다. 특히 신경망의 내부 속성을 나타내기 위해 훈련 샘플이 Penultimate Layer에서 차지하는 영역을 나타내는 새로운 지표, PRS(Populated Region Set) 을 제안한다. 본 연구는 제안된 개념을 이용하여 낮은 PRS 비율과 신경망의 적대적 강건성은 강한 관계가 있음을 검증하는 경험적인 증거들을 제공한다. 또한 PRS의 특성을 활용하여 신경망의 적대적 강건성을 향상시키는 PRS 손실 함수를 고안하고, 다양한 네트워크 구조에서 제안된 손실 함수가 강건성 향상에 효과가 있음을 입증한다.
