Self-supervised learning, which learns by constructing artificial labels (a.k.a, self-supervision) from only the input signals, has recently gained considerable attention for learning semantic representations from unlabeled data. This dissertation investigates how to utilize such self-supervision for improving deep neural networks under various scenarios: supervised learning, transfer learning, and generative modeling. Specifically, we first propose a novel label augmentation technique using self-supervision for various fully-supervised settings, including few-shot and imbalanced classification. Second, we construct effective augmentation-aware self-supervision for improving the transferability of representations under various transfer learning scenarios. Last, we introduce a novel training framework of latent-variable energy-based models guided by self-supervised learning, which significantly improves the generation quality. Namely, we show self-supervised learning can improve both discriminative and generative modeling in deep learning.
오직 입력 신호로부터 인공 레이블을 구성하여 학습하는 자기지도 학습 방법론은 레이블이 없는 데이터에서 의미있는 표현식을 학습하는 데 상당한 효과를 보이고 있다. 본 논문에서는 다양한 시나리오에서 심층신경 망을 개선하기 위한 자기지도 활용 방법을 연구한다. 먼저, 우리는 자기지도 방법론을 활용한 레이블 증강 기법을제안하여퓨샷및불균형분류문제를포함한다양한완전지도학습을개선하였다. 또한,지도및 비지도 방법으로 학습된 표현식의 전달성을 개선하기 위해, 우리는 효과적인 데이터 증강 기반 자기지도 방법 론을 제안하였고, 이는 다양한 전이 학습 시나리오에서 여러 지도 및 비지도 학습의 성능을 크게 개선하였다. 마지막으로, 자기지도학습을 활용한 잠재변수 에너지 기반 생성 모델 학습 프레임워크를 제안하여, 데이터 (이미지) 생성 과정을 정량 및 정성적으로 크게 개선하였다. 즉, 본 논문은 자기지도 학습이 심층학습에서 분별 및 생설 모델링 모두 개선할 수 있음을 보여준다.
