Semi-supervised learning (SSL) is a research field playing a vital role in leveraging unlabeled data. In many applications especially real-world problems, labeled data is often very difficult and costly to obtain, so semi-supervised learning is significantly meaningful in fulfilling the limitation of labeled data. One of the most successful SSL approaches is consistency regularization, encouraging the model to produce unchanged when the input is perturbed. We argue that the inputs from the same class should also have the similar model outputs. Therefore, we unify the idea of consistency regularization SSL approach and metric learning to propose a more powerful SSL method, RankingMatch, for image classification. Our method considers both the perturbed inputs and the similarity among the same-class inputs, encouraging the model to produce the similar outputs for not only the different perturbations of the same input but also the inputs from the same class. Delving into the objective function of metric learning, we introduce a novel objective function, BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all inputs when computing the loss. Our method achieves state-of-the-art results across many standard SSL benchmarks with various labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also conduct an ablation study, visualizations, and computational measurements to prove the efficacy of our proposed BatchMean Triplet loss in both terms of classification and computational efficiency.
준지도 학습(SSL)은 라벨이 부착되지 않은 데이터를 활용하는 데 중요한 역할을 하는 연구 분야이다. 많은 응용 프로그램 특히 실제 문제에서 라벨링된 데이터는 얻기 어렵고 비용이 많이 들기 때문에 준지도 학습은 라벨링된 데이터의 한계를 극복하는데 의미가 있다. 가장 성공적인 SSL 접근법 중 하나는 일관성 정규화이며, 입력이 교란될 때 모델이 일관된 결과를 갖도록 장려한다. 우리는 동일한 클래스의 입력도 유사한 모델 출력을 가져야 한다고 주장한다. 따라서 일관성 정규화 SSL 접근법과 메트릭 학습의 개념을 통합하여 이미지 분류를 위한 더 강력한 SSL 방법인 Ranking Match를 제안한다. 우리의 방법은 교란된 입력과 동일한 클래스 입력 사이의 유사성을 모두 고려하며, 모델이 동일한 입력의 다른 교란뿐만 아니라 동일한 클래스의 입력에도 유사한 출력을 생성하도록 장려한다. 메트릭 학습의 목적 함수를 연구하면서, 우리는 손실을 계산할 때 모든 입력을 고려하며 계산 효율성의 이점을 갖는 새로운 목적 함수인 BatchMean Triplet loss를 소개한다. 우리의 방법은 라벨이 250개인 CIFAR-10의 95.13% 정확도, 라벨이 10000개인 CIFAR-100의 77.65% 정확도, 라벨이 250개인 SVHN의 97.76% 정확도, 라벨이 1000개인 SVHN의 97.77% 정확도 등 라벨이 부착된 데이터 양을 다르게 하며 많은 표준 SSL 벤치마크에서 최첨단 결과를 달성했다. 또한 분류 및 계산 효율성 측면에서 제안된 배치 BatchMean Triplet loss의 효과를 입증하기 위해 절제 연구, 시각화 및 계산 측정을 수행한다.
