In the real world, data often follows a long-tailed distribution. However, in deep learning, if there is imbalance in the training dataset distribution, the model’s generalization performance can sharply decline. Moreover, distributional imbalance may not be limited to a single attribute but can be extend to the joint distribution of multiple attributes. In cases of imbalance in a single attribute, significant performance differences between the tail and head of the distribution can arise. Additionally, when there is imbalance in the joint distribution, fairness issues in the model may arise. To enhance the reliability of deep neural networks, we propose two statistics re weighting methods. First, we suggest a method that utilizes a whitening module to reduce the dependency among representations of each attribute, enabling the training of an unbiased classifier. We propose re-weighted covariance estimation to optimize the trade-off between the utility and fairness of the classifiers. Through this approach, we successfully improved the fairness of the model and enhanced training stability. Second, we propose a method for learning balanced representations for all types of imbalances. By modeling the probability density of features using kernel density estimation and adjusting the weights of the objective function, we improve reliability of representations on various imbalanced datasets.
일반적으로 실제 세상에서 얻게 되는 데이터는 긴 꼬리 분포를 가지고 있다. 하지만, 딥러닝은 학습 데이터 셋 분포에 불균형이 있을 경우 모델의 일반화 성능이 급격하게 떨어지게 된다. 또한, 분포 불균형에는 한 가지속성에대해서만불균형이있을수있고,여러속성의결합분포에도불균형이있을수있다. 한가지 속성에불균형이있을경우,꼬리와머리에서성능차이가크게날수있다. 또한,결합분포에불균형이있을 경우, 모델의 공정성에도 문제가 생기게 된다. 우리는 심층 신경망의 신뢰성 강화를 위하여 통계치 재가중을 이용한 두 가지 방법을 제안한다. 첫 번째로, 백색화 모듈을 이용하여 각 속성의 표현들의 의존도를 낮추어 비 편향 분류기를 학습하는 방법을 제안한다. 우리는 재가중 공분산 추정을 이용하여 심층 모델의 공정성과 유용성 사이의 절충을 최적화하였다. 이를 통하여 모델의 공정성을 성공적으로 개선할 수 있었고, 학습의 안정성또한개선할수있었다. 두번째로모든종류의불균형에대해서표현학습을고르게하기위한방 법을제안하였다. 특징의확률밀도를커널밀도추정방법을이용하여모델링한후목적함수의가중치를 수정함으로써 다양한 불균형 데이터셋에 대해서도 신뢰할 수 있는 표현을 학습할 수 있었다.
