Although the need for Few-shot Class-incremental Learning (FSCIL) is increasingly emerging in various fields, there are still some problems with real-world use. First of all, unlike general image classification models using machine learning, artificial neural networks forget their previously learned knowledge in FSCIL settings due to Catastrophic forgetting. Therefore, many studies are currently being published and making progress to improve model performance in the FSCIL. However, in order to use a machine learning model in the real world, the fairness of the model must be guaranteed, and so far no research has been published on fairness in the FSCIL field. In particular, we observed that applying the existing FSCIL works (which are not considering model fairness) occurs not only catastrophic forgetting but also ”discriminative” catastrophic forgetting which worsens the fairness as the incremental step continues.
In this paper, we suggest that the Overall accuracy equality (OAE) for superclasses is appropriate to use in real-world FSCIL problems, and we propose FairCIL, a framework that maximizes accuracy while satisfying a given fairness criterion. In the pre-incremental phase, we selectively apply the regularization loss function depending on the superclass to learn a fair backbone. In the incremental phase, the accuracy difference between superclasses is reduced through a memory replay method that varies the number of samples stored in extra memory.
To check the performance of FairCIL, we use a Mixed-MNIST dataset which is a combination of MNIST and Fashion-MNIST datasets. This is because MNIST is more accurate than Fashion-MNIST, so the accuracy difference between superclasses can be clearly observed. Experiments show that FairCIL is the only one that satisfies the target fairness criteria among several FSCIL models. In addition, we also observed that there is a trade-off relationship between accuracy and fairness by adjusting the target fairness criterion in the memory replay method.
다양한 분야에서 퓨샷 클래스 증분 학습의 필요성은 점점 대두하고 있지만 실세계에서 사용하기에는 여전히 몇 가지 문제를 가지고 있다. 먼저 일반적인 기계 학습을 이용한 이미지 분류 모델과 달리 퓨샷 클래스 증분 학습 환경에서는 파괴적 망각에 의해 인공 신경망이 기존에 학습했던 지식을 잊어버려서 타 분류 모델보다 상대적으로 낮은 정확도를 보인다. 그 때문에 현재 퓨샷 클래스 증분 학습 환경에서 모델의 성능을 향상하기 위한 많은 연구가 발표되어 발전을 이루고 있다. 하지만 인공 신경망을 이용한 기계 학습 모델을 실세계에서 사용하기 위해선 모델의 공정성이 보장되어야 하는데, 아직까진 퓨샷 클래스 증분 학습 환경에서 공정성을 다룬 연구가 이루어지지 않았다. 특히 기존 공정성을 고려하지 않은 퓨샷 클래스 증분 학습 기법을 사용하면 기존에 알려진 파괴적 망각 뿐만 아니라 차별적 파괴적 망각이 발생해 증분 단계가 지속될수록 공정성이 악화되는 현상을 관찰하였다.
본 논문에서는 슈퍼클래스에 대한 종합적 정확도 동등성을 공정성 지표를 사용한다면 실세계의 퓨샷 클래스 증분 학습 환경에서 사용하기 적절함을 제시하였고, 정확도를 최대로 하면서 주어진 공정성 기준을 만족하는 프레임워크인 FairCIL를 제안하였다. 증분 이전 단계에선 기존 규제화 손실 함수를 슈퍼클래스에 대해 선택적으로 적용하여 공정한 백본을 학습했고, 증분 단계에서는 슈퍼클래스에 따라 선택적으로 별도 저장 장치에 저장하는 샘플 수를 다르게 하는 기억 재현 방법을 통해 슈퍼클래스간 정확도 차이를 감소시켰다.
FairCIL의 성능을 확인하기 위해 MNIST와 Fashion-MNIST 데이터셋을 함께 사용하는 Mixed-MNIST 데이터셋을 사용하였다. 이는 MNIST가 Fashion-MNIST보다 정확하기에 슈퍼클래스 간 정확도 차이를 명확히 확인할 수 있기 때문이다. 학습 결과 여러 퓨샷 클래스 증분 학습 모델 중 FairCIL이 유일하게 목표하는 공정성 기준을 만족할 수 있음을 확인하였다. 또한 기억 재현에서 목표로 하는 공정성 기준을 조절하여 정확도와 공정성 사이 트레이드-오프 관계가 있음을 확인하였다.
