In recent years, supervised deep neural networks have shown excellent performance in numerous applications. However, since the supervised deep neural network relies on the distribution of training data, the distribution of training data must be well distributed to ensure good performance. However, if the training data is biased, the training accuracy is high, but the accuracy in the unbiased test dataset is low. To prevent this, various studies have been actively conducted in the community of researchers. We proposed a new and novel algorithm where supervised deep classification network eliminates bias even when there is no information about bias when learning biased data. In this algorithm, we introduced an additional neural network that serves to extract biases from intermediate features. And in order to unlearn the bias in the learning process, we introduced the mean-variance loss of the bias feature and learned in an adversarial way. As a result, the learning with elimination of bias using our algorithm showed a noticeable improvement in test accuracy than the one without. Experimental results show that our algorithm successfully removes the bias.
최근 수년 동안 지도적 심층 신경 네트워크는 수많은 응용에서 훌륭한 성능을 보여 왔다. 그러나 지도적 심층 네트워크는 학습 데이터 분포에 의존하므로 훌륭한 성능을 보장하기 위해서는 학습 데이터의 분포가 잘 분포되어 있어야 한다. 그러나 학습 데이터가 편향된 경우 훈련 정확도는 높지만 편향되지 않은 테스트 데이터세트에서의 정확도는 낮아진다. 이를 막기 위한 여러 가지 연구가 현재까지 연구자 커뮤니티에서 활발히 진행되고 있다. 우리는 지도적 심층 분류 네트워크가 편향된 데이터를 학습할 때 편향에 관한 정보가 없어도 편향을 제거하는 새롭고 참신한 알고리즘을 제안했다. 이 알고리즘에서 우리는 중간 특징으로부터 편향을 추출하는 역할을 하는 추가적인 신경 네트워크를 도입했다. 그리고 학습 과정에서 편향을 학습하지 않기 위해 편향 특징의 평균-분산 손실을 도입하여 적대적으로 학습했다. 그 결과 우리의 알고리즘을 이용하여 편향을 제거하여 학습한 경우가 그렇지 않은 경우보다 눈에 띄는 테스트 정확도 향상을 보였다. 실험 결과를 통해 우리의 알고리즘이 편향을 성공적으로 제거하고 있음을 알 수 있다.
