Deep neural networks (DNNs) are currently performing well in computer vision. Given that applications applying DNNs are utilized by a broad spectrum of users in real-world settings, variety of input data is also extensive. However, recent research has shown that DNNs are highly vulnerable to certain types of input data. Adversarial attack is one type of input data that causes DNNs to malfunction, causing imperceptible changes in the input data that lead to significant differences from human perception. A malicious attacker can easily provoke DNNs to make incorrect outcomes, compromising the reliability of the application. In another case, Out-of-Distribution (OOD) occurs when DNNs receive inputs that do not follow same probability distribution as training data. While DNNs should ideally express uncertainty when faced with unsuitable input data (OOD), they often produce incorrect results with a high level of confidence in practice. Therefore, these types of inputs contribute to the unreliability of DNNs, limiting their application in real-world environments. In this work, we propose frameworks to achieve robustness against adversarial attacks and OOD data through anchor-guided feature refinement. First, for adversarial attacks, the proposed anchors help adversarial training to separate normal and adversarial examples and acquire appropriate statistical characteristics for each. Even if an adversarial user attacks the DNNs, the anchor guides correct statistical processing to refine feature of adversarial example to achieve high performance. Second, Anchor provides a threshold to distinguish between OOD inputs. With the help of visual prompts, the anchor serves as a reference point to refine pre-trained model features for effective OOD detection. At inference time, the anchor is transformed into OOD scores, which are then utilized to establish thresholds for OOD detection. The effectiveness of the proposed method is validated through performance comparisons with state-of-the-art methods, and extensive qualitative and quantitative experiments were also conducted.
현재 딥 뉴럴 네트워크는 컴퓨터 비전 분야에서 높은 성능을 발휘하고 있다. 실제 환경에서 딥 뉴럴 네트워크를 활용하는 애플리케이션이 다양한 사용자에 의해 활용된다는 점을 고려하면 입력 데이터의 다양성도 광범위하다. 그러나 최근 연구에 따르면 딥 뉴럴 네트워크는 특정 유형의 입력 데이터에 매우 취약한 것으로 나타났다. 적대적 공격은 딥 뉴럴 네트워크의 오작동을 유발하는 입력 데이터 유형 중 하나로, 입력 데이터에 눈에 띄지 않는 변화를 일으켜 인간의 인식과 상당한 차이를 초래한다. 악의적인 공격자는 쉽게 딥 뉴럴 네트워크를 교란하여 애플리케이션의 신뢰성을 붕괴 시킬수 있다. 분포외 예시로 알려진 또 다른 사례는 딥 뉴럴 네트워크의 훈련 데이터와 동일한 확률 분포를 따르지 않는 입력을 수신할 때 발생한다. 분포외 예시는 학습된 작업에 적합하지 않은 입력으로 딥 뉴럴 네트워크가 이러한 부적합한 입력 데이터에 직면했을 때 이상적으로 불확실성을 표현해야 하지만 실제로는 높은 수준의 확신을 갖고 잘못된 결과를 출력하는 경우가 많다. 일반 사용자는 딥 뉴럴 네트워크 정보에 쉽게 접근하기 어렵기 때문에 분포외 예제를 쉽게 사용하고 잘못된 판단에 과도한 신뢰를 둘 수 있다. 따라서 이러한 입력들은 딥 뉴럴 네트워크의 신뢰성 하락에 영향을 미쳐 실제 환경에서 애플리케이션이 적용 되는데 한계로 작용한다. 본 연구에서는 앵커가 안내하는 특징 개선을 통해 딥 뉴럴 네트워크가 적대적 공격 및 분포외 입력 데이터에 대한 견고성을 획득하는 프레임워크를 제안한다. 먼저 적대적 공격에 대하여 제안된 앵커는 적대적 학습을 도와주어 일반 예제와 적대적 예제를 분리하고 각각에 적합한 통계적 특성을 획득하게 한다. 적대적 사용자가 딥 뉴럴 네트워크를 공격하더라도 앵커가 올바른 통계적 처리를 인도하여 적대적 입력의 특징을 개선해 높은 성능을 달성할 수 있다. 또한 분포외 입력 데이터가 입력으로 들어왔을때 이를 구별할 수 있는 문턱값을 제시해 주는 앵커를 제안한다. 시각적 프롬프트의 도움을 받아 앵커는 기준점이 되어 개선된 특징을 얻을 수 있도록 인도한다. 입력 추론때 문턱값을 얻기 위해 앵커는 분포외 점수로 변환되어 시각적 프롬프트가 더해진 입력의 분포외 점수와 비교를 하고 분포외 입력을 검출하여 사전에 딥 뉴럴 네트워크에게 경고를 줄 수 있다. 제안된 두 방법은 각각 최신방법들과 성능 비교를 통해 유효성을 보였으며 광범위한 질적/양적 실험을 진행하여 제안된 방법이 실제 환경에서 딥 뉴럴 네트워크의 적대적 견고성을 향상시키고 분포외 데이터를 효과적으로 검출 함을 확인하였다.
