As numerous meta-learning algorithms improve performance when solving few-shot classification problems for practical applications, accurate prediction of uncertainty has been considered essential. In meta-training, the algorithm treats all the generated tasks equally and updates the model to perform well on the training tasks. For the training, some of the tasks might be hard for the model to infer the query examples from the support examples, especially when a huge mismatch between the support set and the query set exists. The distribution mismatch makes the model have wrong confidences that cause a calibration problem. In this study, we propose a novel meta-training method that measures the distribution mismatch and lets the model predict with more careful confidence. Moreover, our method is algorithm-agnostic and readily expanded to include a range of meta-learning models. Through extensive experiments, including dataset shift, we present that our training strategy helps the model avoid being indiscriminately confident, and thereby, produce calibrated classification results without the loss of accuracy.
실제 응용을 위해 퓨샷 분류 문제를 해결하는 수많은 메타 학습 알고리즘들이 성능을 향상시켜 오면서 불확실성에 대한 정확한 예측 역시 필수적인 것으로 여겨지고 있다. 알고리즘은 메타 훈련에서 생성된 모든 태스크를 동등하게 처리하고 모든 훈련 태스크에서 잘 수행되도록 모델을 업데이트한다. 훈련의 경우, 특히 서포트 집합과 쿼리 집합 사이에 큰 불일치가 존재하는 경우, 일부 태스크는 모델이 서포트 개체에서 쿼리 개체를 추론하기 어려울 수 있다. 이러한 분포 불일치는 모델이 잘못된 신뢰도를 갖게 해 모델의 교정 문제를 일으킨다. 본 연구는 분포 불일치를 측정하고 모델이 보다 신중하게 예측하도록 하는 새로운 메타 훈련 방법을 제안한다. 또한, 우리의 방법은 학습 알고리즘에 구애받지 않으며 다양한 메타 학습 모델을 포함하도록 쉽게 확장된다. 데이터셋 전이를 포함한 광범위한 실험을 통해, 우리의 새로운 훈련 전략이 모델의 무분별한 확신을 방지하고, 따라서 정확성을 잃지 않고 교정된 분류 결과를 산출하는 데 도움이 됨을 제시한다.