Although deep neural network has high performance on image classification, it suffers from the lack of ability to distinguish between normal inputs and abnormal inputs, e.g. adversarial examples and out-of-distribution samples. Since deep neural network with softmax classifier is overconfident, detecting out-of-distribution samples only with softmax prediction seems to be insufficient. ODIN is the baseline approach to detect out-of-distribution samples by adding small perturbation which increases the softmax score. This preprocessing technique is widely adopted on state-of-the-art out-of-distribution detection methods. Despite the efficiency of ODIN, its linear approximation restricts theoretical approach and curvature analysis. In this work, we propose additional input preprocessing method named Second Eigenvector Perturbation which observes local curvature by Hessian matrix. Our method improves out-of-distribution detection performance compared with ODIN. Furthermore, we visualize data landscapes to give intuition of the effect of input preprocessing and demonstrate that out-of-distribution with irregular landscape experiences input preprocessing differently.
심층신경망은 이미지 분류에서 높은 성능을 보이지만 적대적 표본이나 분포 밖 표본과 같은 비정상적인 입력을 구분하는 능력이 크게 떨어진다. 소프트맥스 분류기를 사용하는 심층신경망은 자신의 예측을 과신하는 경향이 있으므로 소프트맥스 확률값을 통한 분포 밖 데이터 검출에는 명확한 한계점이 존재한다. 최근 연구에 따르면 이미지에 작은 간섭을 주는 전처리 기법을 통해 분포 밖 표본 검출율을 크게 올릴 수 있으며, 이러한 기법은 여러 분포 밖 데이터 검출 연구에 적극적으로 활용되고 있다. 이러한 효율성에도 불구하고 이 전처리 기법의 선형적 근사는 이론적인 접근과 간섭 처리에 있어서 큰 걸림돌이 된다. 우리는 비선형적 접근이 가능한 추가적인 전처리 기법인 고유벡터 간섭을 제안하고, 이를 통해 분포 밖 표본 검출율을 증가시킬 수 있음을 실험을 통해 확인하였다. 또한 우리는 데이터 다양체의 시각화를 통해 전처리 기법의 효과에 대한 직관을 제공하고, 불규칙한 데이터 다양체를 갖는 분포 밖 데이터에 있어서 전처리 기법의 효과가 다르게 나타남을 보였다.
