Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. A frozen head cannot achieve better results than even a random guessing classifier at the initial point of new tasks, and feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. Although the inner loop updates purely hinge on representation change, BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.
모델 비구분의 메타학습(Model Agnostic Meta-Learning, MAML)은 그라디언트 기반의 메타 학습 알고리즘 중 가장 대표적인 알고리즘이다. MAML은 메타 초기화 포인트에서 내부 업데이트를 이용하여 몇 개의 데이터 샘플만으로 새로운 과제을 학습하고, 내부 업데이트된 모델 파라미터를 이용한 외부 업데이트를 통해 메타 초기화 파라미터를 학습한다. 최근 메타 초기화 모델에서 내부 업데이트를 통해 추출되는 특징이 효율적으로 변화한다는 특징 변화의 요소보다는, 메타 초기화 모델로부터 내부 업데이트 이전에도 효율적인 특징이 추출되고 내부 업데이트를 거쳐도 특징이 거의 변화하지 않는 없다는 특징 재사용의 요소가 MAML을 통한 메타 초기화 모델 성능에 지배적이라는 가설이 제기되고 있다. 이 연구를 통해, 우리는 메타 학습의 궁극적인 목표인 도메인 비구분의 과제를 해결하기 위한 특징 변화의 필요성을 조사한다. 이를 위해, 우리는 새로운 메타학습 알고리즘인 BOIL(Body Only update in Inner Loop)을 제안한다. BOIL은 내부 업데이트 시 모델의 몸체(특징 추출부)만을 업데이트하고 머리(분류기)부분은 고정한 채 업데이트 하지 않는다. BOIL은 특징 재사용 보다는 특징 변화를 활용하는 알고리즘이다. 고정된 분류기는 새로운 과제를 만난 초기 상태에서 랜덤 초기화 상태의 분류기보다 더 좋은 성능을 낼 수 없고, 특징 벡터들은 내부 업데이트를 통해 해당 고정된 분류기 벡터들에 대응하여 빠르게 움직이게 된다. 우리는 이러한 성질을 코사인 유사도, CKA를 통해 시각화했고, 실험 결과를 통해 확인했다. 내부 업데이트에서 표현 변화를 수행하면서, BOIL은 경험적으로 MAML에 비해, 특히 교차 도메인 학습에서 상당한 성능 향상을 보여준다. 그 결과는 그라데이션 기반 메타 학습 접근법의 표현 변화가 중요한 구성요소임을 나타낸다.
