We extend the conventional meta-learning frameworks to more realistic, practical, and large-scale learning scenarios. Firstly, realistic meta-learning assumes imbalances between classes and tasks, and also distributional shift between meta-training and meta-testing stage. Secondly, practical meta-learning aims to develop a versatile meta-knowledge that is agnostic to architectural differences. Lastly, we address large-scale meta-learning where a shared initialization or hyperparameter are efficiently learned over a heterogeneous set of many-shot tasks. In this paper, we show how we can efficiently and effectively address those challenging real-world meta-learning problems with various machine learning techniques such as variational inference, amortization, first-order approximation, Taylor approximation, Lipschitz assumption, and so on.
본 논문에서는 기존의 메타 학습 프레임워크를 보다 현실적이고 실용적이며 규모가 큰 학습 시나리오로 확장한다. 첫째, 현실적 메타러닝은 클래스와 태스크 간의 불균형, 그리고 메타학습과 메타테스트 단계 사이의 분포 이동을 가정한다. 둘째, 실용적인 메타 학습은 네트워크 구조의 차이에 구애받지 않는 메타 지식을 개발하는 것을 필요로 한다. 마지막으로, 대규모 메타 학습은 공유된 초기파라미터 또는 하이퍼파라미터가 이종의 다중 태스크 분포에 대해 효율적으로 학습됨을 목표로 한다. 본 논문에서는 이러한 도전적인 현실 세계의 메타 학습 문제들을 변이 추론, 상각, 1차 근사, 테일러 근사, 립시츠 가정 등과 같은 다양한 기계학습 기법들을 사용하여 효율적이고 효과적으로 개선할 수 있음을 보인다.
