Unsupervised learning aims to learn meaningful representations from unlabeled data which can capture its intrinsic structure, that can be transferred to downstream tasks. Meta-learning, whose objective is to learn to generalize across tasks such that the learned model can rapidly adapt to a novel task, shares the spirit of unsupervised learning in that the both seek to learn more effective and efficient learning procedure than learning from scratch. The fundamental difference of the two is that the most meta-learning approaches are supervised, assuming full access to the labels. However, acquiring labeled dataset for meta-training not only is costly as it requires human efforts in labeling but also limits its applications to pre-defined task distributions. In this paper, we propose a principled unsupervised meta-learning model, namely Meta-GMVAE, based on Variational Autoencoder (VAE) and set-level variational inference. Moreover, we introduce a mixture of Gaussian (GMM) prior, assuming that each modality represents each class-concept in a randomly sampled episode, which we optimize with Expectation-Maximization (EM). Then, the learned model can be used for downstream few-shot classification tasks, where we obtain task-specific parameters by performing semi-supervised EM on the latent representations of the support and query set, and predict labels of the query set by computing aggregated posteriors. We validate our model on Omniglot and Mini-ImageNet datasets by evaluating its performance on downstream few-shot classification tasks. The results show that our model obtain impressive performance gains over existing unsupervised meta-learning baselines, even outperforming supervised MAML on a certain setting.
비지도 학습은 레이블이 없는 데이터로부터 다양한 테스크에 전이가능한 의미있는 표현형을 학습하는데 그 목적을 둔다. 다양한 테스크로의 일반화를 목표로 학습된 모델이 빠르게 새로운 테스크에 적용하게 하는 메타학습은 처음부터 학습하는 것보다 더 효율적인 학습 과정을 찾는다는 점에서 위의 비지도 학습과 비슷하다. 근본적인 차이점은 대부분의 메타 학습이 레이블을 가지고 있다고 가정한 지도학습에 기반하고 있다는 점이다. 그러나 메타 학습을 위한 레이블된 데이터셋을 구성하는 것은 사람의 노력을 많이 요구한다는 점에서 굉장히 경제적으로 비효율적일 뿐만 아니라, 메타 학습의 적용을 미리 지정된 테스크 분포에 제한한다. 본 연구에서는 비지도 학습 기반의 메타학습 모델인 Meta-GMVAE를 제안한다. Meta-GMVAE은 Variational Autoencoder와 set-level variational inference를 기반으로 하고, 더 나아가 a mixture of Gaussian (GMM) 사전 확률 분포를 이용해 무작위로 선출된 데이터셋의 클래스를 표현하고자 한다. 이 때, Expectation-Maximization (EM)을 이용해 GMM 사전 확률 분포를 최적화한다. 또한 메타 테스트의 테스크를 수행할 때 는 준지도적 EM을 support set 그리고 query set의 적용해 레이블을 예측한다. Meta-GMVAE를 Omiglot 그리고 Mini-ImageNet 데이터에 평가해보았을 때 기존의 비지도 학습 기반의 메타학습 방법론보다 우수한 성능을 보여주었고, 심지어 특정한 세팅에서는 지도학습 기반의 메타학습 방법론보다 앞서기도 하였다.
