Deep neural networks optimized with gradient-based method exhibit two different behaviors when trained on poorly-annotated datasets: generalization in the early stage and memorization in the later stage. We analyze these two behaviors by measuring the similarity of the learned patterns between an ensemble of networks. From the analysis, we find that some correctly-annotated examples incur small training losses on all networks in the ensemble during generalization, while wrongly-annotated examples do not. Based on the finding, we propose a robust training method, termed learning with ensemble consensus (LEC) where an ensemble of networks is trained using the examples incurring small training losses on all the networks in the ensemble. The proposed method removes effectively noisy examples from training batches, resulting in robustness on the highly corrupted datasets.
잘못 라벨링이 된 샘플이 포함된 데이터셋을 가지고 경사하강법으로 학습된 심층 신경망은 학습 초기에는 데이터를 일반화하고 학습 후기에는 데이터를 암기하는 양상을 보인다. 본 논문에서는 이러한 심층 신경망의 학습 양상을 앙상블 내 신경망 간 패턴 유사도를 통해 분석하였다. 그 결과 올바르게 라벨링이 된 샘플 중 일부는 학습 초기의 앙상블 내 모든 신경망에서 일관되게 작은 손실값을 발생시키고, 잘못 라벨링이 된 샘플은 그렇지 않다는 것을 발견하였다. 잘못 라벨링이 된 샘플은 주어진 데이터를 일반화하는 데 악영향을 미치므로, 동시에 학습되는 앙상블 내 모든 신경망에서 일관되게 작은 손실값을 일으키는 샘플로 신경망을 훈련하는 학습법을 제안하였다. 제안한 학습법은 잘못 라벨링이 된 데이터가 학습되는 것을 방지함으로써 강인한 학습을 가능하게 하였다.
