서지주요정보
Delving into semi-supervised learning with ranking loss of metric learning = 메트릭 러닝의 순위 손실을 이용한 준지도 학습의 깊은 탐구
서명 / 저자 Delving into semi-supervised learning with ranking loss of metric learning = 메트릭 러닝의 순위 손실을 이용한 준지도 학습의 깊은 탐구 / Quang Trung Tran.
발행사항 [대전 : 한국과학기술원, 2021].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8037011

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MCS 21043

휴대폰 전송

도서상태

이용가능(대출불가)

사유안내

반납예정일

리뷰정보

초록정보

Semi-supervised learning (SSL) is a research field playing a vital role in leveraging unlabeled data. In many applications especially real-world problems, labeled data is often very difficult and costly to obtain, so semi-supervised learning is significantly meaningful in fulfilling the limitation of labeled data. One of the most successful SSL approaches is consistency regularization, encouraging the model to produce unchanged when the input is perturbed. We argue that the inputs from the same class should also have the similar model outputs. Therefore, we unify the idea of consistency regularization SSL approach and metric learning to propose a more powerful SSL method, RankingMatch, for image classification. Our method considers both the perturbed inputs and the similarity among the same-class inputs, encouraging the model to produce the similar outputs for not only the different perturbations of the same input but also the inputs from the same class. Delving into the objective function of metric learning, we introduce a novel objective function, BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all inputs when computing the loss. Our method achieves state-of-the-art results across many standard SSL benchmarks with various labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also conduct an ablation study, visualizations, and computational measurements to prove the efficacy of our proposed BatchMean Triplet loss in both terms of classification and computational efficiency.

준지도 학습(SSL)은 라벨이 부착되지 않은 데이터를 활용하는 데 중요한 역할을 하는 연구 분야이다. 많은 응용 프로그램 특히 실제 문제에서 라벨링된 데이터는 얻기 어렵고 비용이 많이 들기 때문에 준지도 학습은 라벨링된 데이터의 한계를 극복하는데 의미가 있다. 가장 성공적인 SSL 접근법 중 하나는 일관성 정규화이며, 입력이 교란될 때 모델이 일관된 결과를 갖도록 장려한다. 우리는 동일한 클래스의 입력도 유사한 모델 출력을 가져야 한다고 주장한다. 따라서 일관성 정규화 SSL 접근법과 메트릭 학습의 개념을 통합하여 이미지 분류를 위한 더 강력한 SSL 방법인 Ranking Match를 제안한다. 우리의 방법은 교란된 입력과 동일한 클래스 입력 사이의 유사성을 모두 고려하며, 모델이 동일한 입력의 다른 교란뿐만 아니라 동일한 클래스의 입력에도 유사한 출력을 생성하도록 장려한다. 메트릭 학습의 목적 함수를 연구하면서, 우리는 손실을 계산할 때 모든 입력을 고려하며 계산 효율성의 이점을 갖는 새로운 목적 함수인 BatchMean Triplet loss를 소개한다. 우리의 방법은 라벨이 250개인 CIFAR-10의 95.13% 정확도, 라벨이 10000개인 CIFAR-100의 77.65% 정확도, 라벨이 250개인 SVHN의 97.76% 정확도, 라벨이 1000개인 SVHN의 97.77% 정확도 등 라벨이 부착된 데이터 양을 다르게 하며 많은 표준 SSL 벤치마크에서 최첨단 결과를 달성했다. 또한 분류 및 계산 효율성 측면에서 제안된 배치 BatchMean Triplet loss의 효과를 입증하기 위해 절제 연구, 시각화 및 계산 측정을 수행한다.

서지기타정보

서지기타정보
청구기호 {MCS 21043
형태사항 iv, 45 p. : 삽화 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 잔쾅중
지도교수의 영문표기 : Daeyoung Kim
지도교수의 한글표기 : 김대영
Including Appendix
학위논문 학위논문(석사) - 한국과학기술원 : 전산학부,
서지주기 References : p. 41-43
QR CODE qr code