Learning novel categories while preserving previously learned knowledge is a long-standing challenge in machine learning field. The challenge gets greater when a novel task is given with only a few labeled samples for each novel category, which is known as \textit{incremental few-shot learning} problem. We propose \textit{XtarNet}, which learns to extract task-adaptive representation for facilitating incremental few-shot learning. The method utilizes a backbone network pretrained on a set of base categories while also employing additional meta modules. These additional modules are trained across episodes via meta-learning based approach. Given a new task, the novel feature extracted from the meta-trained modules is combined with the base feature obtained from the pretrained model. The process of combining these two different features provides desired task-adaptive representation, which is called TAR. The TAR contains effective information to aid classifying both novel and base categories. The base and novel classifiers quickly adapt to a given task by utilizing the TAR. Experiments on standard image datasets indicate that our method achieves state-of-the-art incremental few-shot learning performance and further ablation shows the effectiveness of the TAR.
사전에 학습하였던 지식을 보존하면서 새로운 지식을 배우는 것은 기계 학습 분야에서 오랫동안 이어진 문제이다. 이러한 문제는 레이블이 주어진 학습 데이터가 매우 적은 양만이 주어졌을 때 더욱 해결하기 어려워진다. 이와 같은 문제를 점진적 소수샷 학습이라 칭한다. 본 학위논문에서는 점진적 소수샷 학습 문제를 해결하기 위해 작업적응형 표상(피처)을 추출하는 방법을 학습하는 알고리즘을 제안하였다. 제안된 알고리즘은 기존 클래스에 해당하는 데이터를 사용하여 사전 학습된 백본 네트워크를 이용하고, 동시에 에피소드 전반에 걸쳐 메타 학습되는 모듈을 활용한다. 작업 적응형 표상은 새로운 태스크가 주어지면 메타 학습된 모듈에서 추출된 새로운 피처가 사전에 학습된 모델에서 얻은 기존의 피처와 혼합하는 방식으로 만들어진다. 이렇게 혼합된 피처는 기존 클래스와 더불어 새로운 클래스에 해당하는 데이터를 분류하는 데 효과적인 정보를 포함하고 있다. 기존 클래스 분류기와 새로운 클래스 분류기는 이 혼합된 피처를 활용하여 주어진 태스크에 빠르게 적응한다. 표준 이미지 데이터에 대한 실험결과를 통해 해당 알고리즘이 점진적 소수샷 학습 분야에서 최고성능을 달성하였음을 보임과 동시에 혼합된 피처가 효과적임을 보였다.
