A mighty goal of representation learning is to train a feature that can transfer to various tasks or datasets. A conventional approach is to pre-train a neural network on a large-scale labeled dataset, e.g., ImageNet, and use its feature for downstream tasks. However, the feature often lacks transferability due to the class-collapse issue; existing supervised losses (such as cross-entropy) restrain the intra-class variation and limit the capability of learning rich representations. This issue becomes more severe when pre-training datasets are class-imbalanced or coarse-labeled. To address the problem, we propose a new representation learning method, named Renyi supervised contrastive learning (RenyiSCL), which can effectively learn transferable representation using a labeled dataset. Our main idea is to use the recently proposed self-supervised Renyi contrastive learning in the supervised setup. We show that RenyiSCL can mitigate the class-collapse problem by contrasting features with both instance-wise and class-wise information. Through experiments on the ImageNet dataset, we show that RenyiSCL outperforms all supervised and self-supervised methods under various transfer learning tasks. In particular, we also validate the effectiveness of RenyiSCL under class-imbalanced or coarse-labeled datasets.
표현식 학습의 궁극적인 목표는 다양한 문제와 데이터에 전이 가능한 표현식을 학습하는 것이다. 이를 위한 일반적인 접근법은 큰 규모의 데이터에서 신경망을 사전 학습하고, 그 표현식을 하위 작업에 사용하는 것이 다. 그러나 이렇게 학습된 표현식은 같은 클래스의 표현식들이 같은 식으로 수렴하는 클래스-수렴 문제로 인해 전이 능력이 부족하다. 이를 위해서, 라벨이 있는 데이터로부터 전이가능한 표현식을 얻을 수 있는 새로운표현식학습방법론인레니지도대조학습을제안한다. 주요아이디어는최근제안된자기지도 레니대조학습방법론을지도학습상황에적용하는것이다. 우리는이방법론이각개체별,클래스별 정보를 이용하여 대조 학습을 해 클래스-수렴 문제를 완화할 수 있음을 보인다.
