Collecting large-scale dataset to train deep neural networks is burdensome. Since the advent of Generative Adversarial Networks (GAN), GAN-based models that could generate photo-realistic images have been proposed. Because these generated images can be used as an augmented data to aid in training a classifier, GAN-based models could mitigate the necessity of collecting large-scale dataset. Recently, differential generative adversarial networks (D-GAN) has made GAN-based data augmentation more useful because D-GAN could be trained with even a small amount of training dataset. Conventional GAN-based data augmentation methods followed a two-step framework that generated images through a trained generator and trained a classifier with the generated images. In this process, various engineering questions (how many should we train a generative model and a classifier? or how many should we generate images?) need to be solved and memory space for storing the generated images is needed. In this paper, we propose an on-the-fly data augmentation that simultaneously train the generator and classifier. The on-the-fly data augmentation induces the effect of data augmentation in order to train the classifier during training the generator.
딥 뉴럴 네트워크를 학습 시키기 위한 대규모 데이터의 수집은 많은 시간과 인력이 필요하다. Generative Adversarial Networks (GAN)의 등장 이후, 사실적인 이미지를 생성할 수 있는 GAN 기반 모델이 제안되었다. 이를 통한 생성 이미지는 분류기의 학습에 도움을 줄 수 있는 학습 데이터로 사용될 수 있기 때문에 GAN 기반 모델은 대규모 데이터를 수집해야 되는 어려움을 완화 시킬 수 있다. 최근 differential generative adversarial networks (D-GAN)은 적은 양의 학습 데이터로 학습이 가능하기 때문에 GAN 기반의 데이터 증가 방법을 더욱 유용하게 만들었다. 기존의 GAN 기반 데이터 증가 방법은 생성된 훈련기를 통해 이미지를 생성하고, 생성된 이미지로 분별기를 학습 시키는 두 단계의 프레임 워크를 유지하였다. 이 과정에서 여러 가지 공학 문제 (생성 모델과 분류기를 얼마나 학습 시켜야 되는지 또는 이미지를 얼마나 만들어야 되는지) 의 해답을 찾아야 하고 생성된 이미지를 저장하기 위한 메모리 공간이 필요하게 된다. 본 연구에선 생성기와 분류기의 학습을 동시에 하는 on-the-fly data augmentation을 제안한다. On-the-fly data augmentation 방식은 생성기를 학습하는 동안 분류기의 학습을 위한 데이터 증가 효과를 유도하여 분류기의 성능을 높인다.
