Despite the impressive performance of deep networks in vision, language, and healthcare, unpredictable behaviors on samples from the distribution different than the training distribution cause severe problems in deployment. For better reliability of neural-network-based classifiers, we define a new task, natural attribute-based shift (NAtS) detection, to detect the samples shifted from the training distribution by some natural attribute such as age of subjects or brightness of images. Using the natural attributes present in existing datasets, we introduce benchmark datasets in vision, language, and medical domain for NAtS detection. Further, we conduct an extensive evaluation of prior representative out-of-distribution (OOD) detection methods on NAtS datasets and observe an inconsistency in their performance. To understand this, we provide an analysis on the relationship between the location of NAtS samples in the feature space and the performance of distance- and confidence-based OOD detection methods. Based on the analysis, we split NAtS samples into three categories and further suggest a simple modification to the training objective to obtain an improved OOD detection method that is capable of detecting samples from all NAtS categories.
비전, 언어 및 의료 분야에서 심층 신경망은 뛰어난 성능을 보여주고 있지만, 훈련 데이터 분포와 다른 분포의 샘플에 대한 예측할 수 없는 동작은 신경망의 배포에서 심각한 문제를 일으킨다. 신경망 기반 분류기의 더 나은 신뢰도를 위해 본 논문에서는 자연 속성 기반의 분포 이동 탐지 문제를 새롭게 정의하여 대상의 나이 또는 이미지의 밝기와 같은 일부 자연적 속성의 변화에 의해 훈련 데이터 분포로부터 이동된 분포의 데이터를 감지하고자 한다. 기존 데이터 세트에 존재하는 자연적 속성을 사용하여 자연 속성의 변화로 인한 분포 이동 탐지를 위한 시각, 언어 및 의료 영역의 데이터 세트를 제시한다. 또한 이러한 데이터 세트에서 대표적인 분포 밖 데이터 탐지 방법들에 대한 평가를 수행하고 데이터 특성에 따른 탐지 성능의 불일치를 보인다. 이를 이해하기 위해 특징 공간에서 데이터의 위치와 거리 및 신뢰 기반 분포 밖 데이터 탐지 방법의 성능 간의 관계에 대해 분석한다. 우리는 위 분석을 기반으로 자연 속성의 변화로 인한 데이터 이동을 세가지 범주로 나누고 모든 범주의 샘플을 감지할 수 있는 분포 밖 데이터 탐지 방법을 얻기 위해 기존 거리 기반 탐지 방법의 개선 방안을 추가로 제안한다.
