Deep neural networks have an outstanding capability to memorize data, yet this memorization ability sometimes imposes networks to be vulnerable to mislabeled data. Most existing methods focus on utilizing noisy dataset while suppressing the memorization capacity on noise instances. However, these studies designed to estimate clean and noisy samples inherit fundamental limitations. If the network estimates some of the noise samples as clean instances at the early stage of the training, the misinterpreted samples are drifted into clean data distribution. This may distort the feature space severely, leading the network prone to perceive other noisy samples as clean samples. To mitigate this issue, we propose a novel training approach, named Unbiasing Feature Alignment via Re-Initialization, called U-Init. We observe that the classifier is rapidly converged and fitted to noisy data in early epochs, which largely misdirects the feature extractor and corrupt the feature distribution during the rest of the training. Our main assumption is that the fc layer converged in the early epoch is responsible for disturbing the feature extractor to train with noisy labels. Therefore, it is crucial to adjust the fc layer to update the feature extractor in the other direction. To this end, we periodically re-initialize the fc layer during the training to prevent the rest part of the network from being self-biased. Extensive experiments show that our method significantly improves the performance compared to existing methods by preventing the feature space from the distortion.
심층 신경망은 데이터를 기억하는 뛰어난 능력을 보여왔지만, 이러한 기억 능력은 때때로 네트워크로 하여금 잘못 표시된 데이터에 취약하도록 한다. 대부분의 기존 방법은 잘못 레이블된 데이터의 기억을 억제하면서 잘못 레이블된 데이터가 포함된 데이터셋을 활용하는데 초점을 맞추고 있다. 그러나 잘못 레이블된 데이터를 구분하는 이 방법들은 근본적인 한계를 내재한다. 만약 네트워크가 레이블이 잘못된 특정 샘플을 레이블이 올바르게 된 샘플으로 훈련 초기 단계에 잘못 인식한다면, 네트워크는 해당 샘플들은 올바른 레이블의 분포에 포함하도록 훈련된다. 본 논문은 네트워크의 분류부가 잘못 레이블된 데이터에 빠르게 수렴하여 자기편향(self-bias)되고 특징 추출부의 학습을 편향된 방향으로 유도하여 특징 분포를 손상시키는 관찰에 근거한다. 본 논문에서는 잘못 레이블된 데이터가 포함된 데이터셋의 학습을 위해서 분류부 재초기화를 통한 학습 기법을 제안한다. 제안하는 방법은 초기 훈련 단계에서 수렴된 분류부가 특징 추출기의 학습을 방해한다는 가정하에 분류부를 훈련단계 중간에 주기적으로 재초기화하여 특징 추출부가 분류부의 자기편향의 영향을 완화하여 특징 분포를 학습할 수 있도록 훈련한다.
