The recent development of contrastive learning has resulted in significant advancements in self-supervised representation learning, with particularly strong results in the fully-supervised context setting with label information. The number of representations utilized in the loss computation has a direct impact on the performance of this batch contrastive approach. In this paper, we present supervised momentum contrastive learning that can arbitrarily increase the number of representations by applying a memory queue to supervised contrastive learning. It was shown that the performance of existing supervised contrastive learning can be exceeded by increasing the number of representation pairs under GPU memory or time constraint. This offers us the possibility to increase performance without high-performance computing equipment in various contrastive learning.
최근 대조 학습의 발전은 자체 지도 표현 학습과 특히 레이블 정보가 있는 완전 지도 학습에서 뛰어난 결과를 보이며 주목을 받고 있다. 손실 계산에 사용된 표현의 수는 이러한 배치 대조 접근 방식의 성능에 직접적인 영향을 미친다. 본 논문에서는 지도 대조 학습에 메모리 큐를 적용하여 표현의 수를 임의로 늘릴 수 있는 지도 모멘텀 대조 학습을 제시한다. GPU 메모리 또는 시간 제약 하에서 표현 쌍의 수를 늘리는 방법을 통해 기존 지도 대조 학습의 성능을 뛰어넘을 수 있음이 드러났다. 이를 통해 다양한 대조 학습에서 고성능 컴퓨팅 장비 없이도 성능을 높일 수 있다는 가능성이 제시된다.
