Recent breakthroughs in self-supervised learning show that such algorithms learn visual representations that can be transferred better to unseen tasks than joint-training methods relying on task-specific supervision. In this paper, we found that the similar holds in the continual learning context: contrastively learned representations are more robust against the catastrophic forgetting than jointly trained representations. Based on this novel observation, we propose a rehearsal-based continual learning algorithm that focuses on continually learning and maintaining transferable representations. More specifically, the proposed scheme (1) learns representations using the contrastive learning objective, and (2) preserves learned representations using a self-supervised distillation step. We conduct extensive experimental validations under popular benchmark image classification datasets, where our method sets the new state-of-the-art performance.
최근 연구는 자기 지도 학습 알고리즘이 부호기 및 분류기를 동시 학습하는 지도 학습 알고리즘에 비해 학습한 적 없는 과제에 대해서도 잘 전이되는 시각적 표현을 더 잘 배우는 것을 보여주고 있다. 본 학위논문에서는 이런 연구 흐름과 비슷하게 대조적 학습 기법을 통해 배운 표현이 부호기 및 분류기의 동시 학습에서 배우는 표현보다 파괴적 망각에 더 강인함을 밝힌다. 이같은 새로운 발견을 토대로 본 학위논문에서는 전이가 잘 되는 표현을 연속으로 배우면서 유지하는 샘플 재현 기반의 연속 학습 알고리즘을 제안한다. 제안하는 연속 학습 알고리즘은 (1) 대조적 학습 기법 목적 함수 최적화를 통해 표현을 배우고 (2) 자기 지도 증류 방식을 통해 학습한 표현을 유지하는 것으로 구성된다. 광범위한 연속 학습 실험 환경 및 이미지 분류 데이터에서 제안하는 알고리즘이 가장 우수한 성능을 보이는 것을 확인하였다.
