Image classification models tend to make decisions based on peripheral attributes of data items that have strong correlation with a target variable (i.e.,dataset bias). Thesebiasedmodels suffer from the poor generalization capability when evaluated on unbiased datasets. Existing approaches for debiasing often identify and emphasize those samples with no such correlation (i.e.,bias-conflicting) without defining the bias type in advance. However, such bias-conflicting samples are significantly scarce in biased datasets, limiting the debiasing capability of these approaches. This thesis first presents an empirical analysis revealing that training with “diverse” bias-conflicting samples beyond a given training set is crucial for debiasing as well as the generalization capability. Based on this observation, we propose a novel feature-level data augmentation technique in order to synthesize diverse bias-conflicting samples. To this end, our method learns the disentangled representation of (1) the intrinsic attributes(i.e., those inherently defining a certain class) and (2)bias attributes(i.e., peripheral attributes causing the bias), from a large number of bias-aligned samples, the bias attributes of which have strong correlation with the target variable. Using the disentangled representation, we synthesize bias-conflicting samples that contain the diverse intrinsic attributes of bias-aligned samples by swapping their latent features. By utilizing these diversified bias-conflicting features during the training, our approach achieves superior classification accuracy and debiasing results against the existing baselines on synthetic and real-world datasets.
이미지 분류 모델들은 특정 클래스와 강한 상관관계가 있는 데이터의 주변 속성 (즉, 데이터 편향)을 기반으로 의사 결정을 내리는 경향이 있다. 이러한 편향된 모델은 편향되지 않은 데이터 셋에서 평가할 때 일반화 능력이 떨어진다. 편향을 제거하기 위한 기존 접근방식은 편향 유형을 사전에 정의하지 않고 그러한 상관관계(즉, bias-conflicting)가 없는 표본을 식별하고 강조하는 경우가 많다. 그러나 이러한 bias-conflicting 샘플은 편향된 데이터 집합에서 상당히 드물기 때문에 이러한 접근 방식은 디바이어싱 기능이 제한된다. 이 논문은 먼저 주어진 훈련 셋을 넘어 "다양한" bias-conflicting 샘플을 사용하는 것이 디비어싱에 중요하다는 것을 보여주는 경험적 분석을 제시한다. 이러한 관찰을 바탕으로 다양한 bias-conflicting 샘플을 합성하기 위해 새로운 데이터 증강 기법을 제안한다. 이를 위해, 우리는 많은 수의 bias-aligned 샘플로부터 (1) 내재 속성(즉, 특정 클래스를 본질적으로 정의하는 속성)과 (2) 편향 속성(즉, 편견을 유발하는 주변 속성)의 얽힌 특징을 분리한다. 분리된 특징들을 사용하여, 우리는 bias-aligned 샘플의 잠재적 특징을 교환하여 다양한 내재 속성을 포함하는 bias-conflicting 샘플을 합성한다. 훈련 중에 이러한 다양한 bias-conflicting 기능을 활용한 우리의 접근 방식은 기존의 접근 방식들보다 우월한 성능을 보여준다.
