Deep neural networks often make decisions based on the spurious correlations inherent in the dataset, failing to generalize in an unbiased data distribution. Although previous approaches pre-define the type of dataset bias to prevent the network from learning it, recognizing the bias type in the real dataset is often prohibitive. This thesis proposes a novel bias-tailored augmentation-based approach, BiaSwap, for learning debiased representation without requiring supervision on the bias type. Assuming that the bias corresponds to the easy-to-learn attributes, we sort the training images based on how much a biased classifier can exploits them as shortcut and divide them into bias-guiding and bias-contrary samples in an unsupervised manner. Afterwards, we integrate the style-transferring module of the image translation model with the class activation maps of such biased classifier, which enables to primarily transfer the bias attributes learned by the classifier. Therefore, given the pair of bias-gupiding and bias-contrary, BiaSwap generates the bias-swapped image which contains the bias attributes from the bias-contrary images, while preserving bias-irrelevant ones in the bias-guiding images. Given such augmented images, BiaSwap demonstrates the superiority in debiasing against the existing baselines over both synthetic and real-world datasets. Even without careful supervision on the bias, BiaSwap achieves a remarkable performance on both unbiased and bias-guiding samples, implying the improved generalization capability of the model.
딥러닝 모델은 데이터셋에 내재된 편향을 해결하는데 취약하며, 대부분 비편향 데이터에 대한 일반화를 실패한다. 이 문제를 해결하기 위해 편향에 최적화 된 이미지 증강 기법을 사용하여, 편향의 종류에 대한 사전 지식 없이도 다양한 데이터 편향 문제를 해결한다. 편향은 의도치 않게 빨리 배워진다는 원리를 활용해 편향 이미지와 비편향 이미지를 구분하고, 구분된 이미지 쌍을 스와핑 오토인코더 기반 편향 제거 이미지 생성 모델에 입력한다. 이로써 편향 이미지의 내용과 비편향 이미지의 편향 값을 가지는 새로운 이미지를 증강하고, 데이터셋 편향 제거에 활용한다. 본 모델은 네 종류의 데이터셋에 대해 기존 비교군 대비 정성적, 정량적으로 모두 좋은 성능을 보인다. 특히나 기존 비교군들에서 거의 사용되지 않은 실세계의 데이터를 활용한 실험을 통해 그 우수성을 입증한다.
