Unsupervised coreset selection is a method of identifying samples with the most useful information given a pool of unlabeled data. Through the above technique, it is possible to reduce the human effort required to label each sample. In this thesis, we propose a method that enables contrast learning to be effectively applied to unsupervised core-set selection. The contrastive learning technique, a recently reported self-supervised method, is usually used to learn useful information from a data pool without labels. There are two leading methods for contrastive learning: a simple framework for contrastive learning of visual representations (SimCLR) and a momentum contrastive (MoCo) learning framework. For unsupervised core-set selection, we first proposed a core-set score, which is based on the accumulated cosine similarity calculated for every epoch while running the contrast learning from the unlabeled data pool. Our core set chosen by the core-set score exhibited an extremely good performance compared to the core-set chosen by random selection, and showed a similar performance as the existing supervised core set selection method. In addition, it was demonstrated theoretically and experimentally that the above method can be extremely useful for detecting redundant examples in an unsupervised manner (unsupervised redundancy identification). Unsupervised redundancy identification indicates the detection of a set of examples from a dataset that appear quite similarly to each other in the absence of an annotation.
비지도 코어세트선택이란 레이블이 전혀없는 데이터 풀이 주어졌을 때에 유용한 정보를 가장 많이 가지고 있는 샘플들을 찾는것을 뜻한다. 상기 기법을 통해서 사람이 직접 각 샘플마다 레이블을 매겨야 하는 수고를 줄일 수 있다. 본 논문에서는 대조적 학습이 비지도 코어세트선택에 매우 유용하게 쓰일 수 있게 하는
방법을 제안하였다. 최근에 발표된 자기 지도 방법 중 하나인 대조적 학습 기법은 보통 레이블이 전혀 없는 데이터풀에서 유익한 정보들을 학습하는 수단으로 쓰이며, 대표적으로SimCLR(simple framework for contrastive learning of visual representations) 과 MoCo(momentum contrastive learning framework) 기법이 있다. 비지도 코어세트선택을 위해 우리는 먼저 코어세트점수를 제안하였는데, 이 코어세트점수는 상기의 대조적 학습방법으로 주어진 데이터풀에서 학습하는 동안 각 에포크마다 코사인 유사도를 계산한 후 누적한 값에 기반한다. 상기 방법을 통한 우리의 코어세트는 무작위 선택에 의한 코어세트에 비해 아주 좋은 성능을 보였으며, 또한 레이블이 있는 기존 지도 코어세트선택 방법과 비슷한 성능을보였다. 또한 상기의 방법이 비지도 중복 샘플 검출에도 매우 유용하게 쓰일 수 있다는것을 이론적, 실험적으로 증명하였다. 비지도 중복 샘플이란, 매우 비슷한 이미지들이 데이터풀에 상당수 존재할때에 레이블없이 해당 샘플들을 검출한다는 것을 의미한다.
