In a constantly changing environment, systems that can learn from continuously incoming inputs without forgetting previously acquired knowledge are very important in terms of efficiency, time, and computational resources. The few-shot class incremental learning (FSCIL) paradigm enables algorithms to absorb new classes with limited data while maintaining the essence of existing classes. This research introduces methodologies that approach such FSCIL algorithms from various perspectives to improve performance. Firstly, we reveal that the overlap between the features of base session classes and the features of incremental session classes is significant. Thus, we design training method to reduce the overlap. Secondly, we highlight the importance of the feature extractor learned from a large number of base session training data and study how it can effectively classify images for both existing trained classes and newly introduced classes. We introduce a balanced supervised relative learning method to show balanced performance for existing trained classes and new classes. Lastly, we approach using the universally recognized Contrastive Language-Image Pre-training (CLIP) model. We present the results obtained when introducing the CLIP model to FSCIL and methodologies to utilize it more effectively. Specifically, we designed to rapidly learn class-specific prompts for each session. All approaches have demonstrated state-of-the-art (SOTA) performance on three benchmark datasets commonly used for FSCIL algorithms: CIFAR100, miniImageNet, and CUB200. Moreover, various ablation studies have been experimentally conducted to confirm the efficacy of each module involved in the design. In conclusion, our research presents methodologies that pave the way for creating more robust learning systems capable of withstanding the continuous flow of information characteristic of the modern data ecosystem.
지속적으로 변화하는 환경에서 연속적으로 들어오는 입력에 대해 이전에 습득한 지식을 잊지 않으면서 학습 할 수 있는 시스템은 시간, 연산 자원 등 효율성 측면에서 매우 중요하다. 퓨샷 클래스 증분형 학습 (FSCIL) 패러다임은 제한된 데이터에서 새로운 클래스를 흡수하면서도 기존 클래스의 본질을 유지하도록 알고리즘을 가능하게 한다. 이 연구에서는 이러한 FSCIL 알고리즘을 다양한 관점에서 접근하여 성능 향상을 도모하는 방법론들을 소개한다. 첫번째로 우리는 임베디드 공간 상에서 베이스와 새로 들어오는 클래스들의 특징 사이 겹침이 상당하다는 것을 확인하고 이 겹침을 최소화하는 방법론을 제시하고 검증한다. 두번째로 우리는 많은 수의 베이스 세션 학습 데이터를 통해 학습된 특징 추출기의 중요성을 부각하고, 그것이 기존 학습된 클래스들과 새롭게 입력된 클래스들 모두에 대해 이미지 분류를 잘 수행하는 방법을 연구한다. 기존 학습된 클래스에 대한 성능과 새롭게 입력된 클래스에 대해 균형 잡힌 성능을 보이기 위해 균형 잡힌 지도적 상대적 학습방법을 도입한다. 세번째론, 최근 범용성을 인정받고 있는 상대적 언어-이미지 프리트레인 (CLIP) 모델을 활용하여 접근한다. CLIP 모델을 FSCIL에 도입하였을 때 얻어지는 결과들과, 이를 보다 잘 활용할 수 있는 방법론들을 제시하였다. 구체적으론클래스특화적인prompt들을세션별로빠르게학습할수있게설계하였다. 세접근모 두 FSCIL 알고리즘을 위해 통용적으로 사용되는 CIFAR100, miniImageNet, CUB200 세 벤치마크 데이터셋에 대해 state-of-the-art (SOTA) 성능을 선보였다. 더욱이 설계에 들어간 각 모듈의 효능을 확인하기 위한 다양한 ablation study들을 실험적으로 진행하였다. 결론적으로, 우리의 연구는 현대 데이터 생태계의 특징인 정보의 끊임없는 흐름을 견뎌낼 수 있는 더욱 강건한 학습 시스템을 만드는 길을 열어주는 방법론을 제시한다.
