While tasks could come with varying number of instances in realistic settings, the existing meta-learning approaches for few-shot classfication assume even task distributions where the number of instances for each task and class are fixed. Due to such restriction, they learn to equally utilize the meta-knowledge across all the tasks, even when the number of instances per task and class largely varies. Moreover, they do not consider distributional difference in unseen tasks at the meta-test time, on which the meta-knowledge may have varying degree of usefulness depending on the task relatedness. To overcome these limitations, we propose a novel meta-learning model that adaptively balances the effect of the meta-learning and task-specific learning, and also class-specific learning within each task. Through the learning of the balancing variables, we can decide whether to obtain a solution close to the initial parameter or far from it. We formulate this objective into a Bayesian inference framework and solve it using variational inference. Our Bayesian Task-Adaptive Meta-Learning (Bayesian-TAML) significantly outperforms existing meta-learning approaches on benchmark datasets for both few-shot and realistic class- and task-imbalanced datasets, with especially higher gains on the latter.
현실적인 환경에서 태스크는 다양한 개수의 인스턴스로 구성될 수 있지만, 현존하는 퓨샷 러닝 학습 방법들은 항상 같은 수의 인스턴스 분포를 지닌다고 가정한다. 이러한 제약 때문에 현존하는 학습 방법들은 태스크마다의 인스턴스 분포나 클래스의 상이함, 학습 때 접하지 못한 새로운 데이터의 입력 등을 고려하지 않고, 모든 태스크에 대해 메타 지식을 균등하게 사용하도록 한다. 이를 극복하고자 우리는 각 태스크 마다 차이를 고려하여 메타 지식과 태스크 특화 지식 간에 동적으로 균형을 맞출 수 있는 새로운 메타러닝 방법을 제안한다. 이 방법론은 균형 변수를 학습함으로써, 주어진 문제에 대해 기존 메타지식을 얼마나 활용할지를 결정하며, 베이지안 추론 프레임워크와 변분 추론을 통해 상기 접근 방법을 도식화하고 풀어냈다. 불균형 및 분포 외 태스크를 고려한 베이지안 메타러닝 방법은 기존 퓨샷 러닝 환경은 물론, 현실적인 환경에서 특히 현존하는 학습 방법들보다 월등한 결과를 보여준다.
