We address the limitation of prototypical network, which is a popular metric-based few-shot learning algorithm. Prototypical networks use the center of embedding features as prototypes to alleviate over-fitting problem in few-shot learning and are built on the idea that examples in the same class are be clustered at a point in the embedding space. However, few researchers have addressed the limitation of one-point prototypes and showed performance improvement by using multiple-point prototypes for each class. Especially, subspace networks learn an embedding function under the idea that examples in the same class are be clustered near a subspace in the embedding space. However, there is no discussion about reasons for using subspace prototypes instead of one-point prototypes. In this paper, we bridge the gap between prototypical networks and subspace networks by adding simple constraints, affine and directional constraint, on the ways to determine prototypes. If we add both constraints to subspace networks, then it is exactly the same as prototypical networks with Euclidean similarity. Consequently, we propose affine space networks and linear subspace networks by adding the affine and directional constraint to subspace network respectively. The experimental results of this study indicate that the directional constraint mainly is contributed to the performance improvement in few-shot classification tasks, although the affine constraint is not effective. Moreover, we propose a parametrized metric that generalizes both the prototypical network and linear subspace network. By using the trainable metric instead of Euclidean or cosine similarity for prototypical networks, the performance is quite high compared to the existing metric-based few-shot learning algorithms.
이 논문에서는 소수 샷 학습의 과적합 문제를 해결한 프로토 타입 네트워크의 프로토 타입 선정 방식을 개선하였다. 기존 프로토 타입 선정 방식을 개선한 연구인 부분 공간 네트워크와 프로토 타입 네트워크를 비교 분석하여 프로토 타입 선정 방식의 합리적인 두 가지 제약 조건인 방향성 제약 조건과 아핀 제약 조건을 제시하였고, 부분 공간 네트워크에 이 제약 조건들을 각각 추가한 알고리즘인 선형 부분 공간 네트워크와 아핀 공간 네트워크를 개발하였다. 소수 샷 분류 문제 실험을 통해 부분 공간 네트워크의 성능 증가에 방향성 제약 조건은 큰 영향을 미치는 반면 아핀 제약 조건의 영향력은 현저히 작은 것을 확인했다. 더욱 나아가 이 논문에서는 프로토 타입 네트워크와 선형 부분 네트워크를 포괄하는 매개 변수화 된 메트릭을 제안했고, 위 매개 변수화된 메트릭을 활용한 학습의 성능이 현존하는 다른 소수 샷 학습 해결 알고리즘과 비교해 꽤 높음을 보였다.
