Deep neural networks have demonstrated their usefulness in a wide range of applications such as vision, voice, natural language processing. A deep neural network provides high capacity for better modeling the input-to-output transition of real data. However, the high capacity potentially occurs an over-fitting problem that indicates a large gap between the training error and generalization error. To alleviate this problem, this dissertation proposes a novel regularization technique. Specifically, adversarial dropout identifies a subnetwork that performs worse or provides output far from the output of the origin network, even though most of the neurons in the origin network are contained in the subnetwork. We developed a regularization that reduces the gap between the output of the intentionally perturbed network and the correct target, or the output of the origin network. Additionally, we theoretically proved that the regularization was the upper bound of the gap between the training and the inference phases of the random dropout. Our experiments demonstrated the applicability of adversarial dropout to two types of deep neural networks such as feed-forward neural networks and recurrent neural networks.
딥 뉴럴 네트워크는 입력에서 출력까지 깊게 연결된 뉴럴 네트워크로 실제 데이터의 복잡한 입출력 전환을 표현하기에 적합한 모델입니다. 하지만 이런 깊게 연결된 구조는 모델의 복잡성을 증가시키고 학습 오류와 일반화 오류의 차이가 커지는 오버피팅문제를 야기할 수 있습니다. 본 논문은 이러한 오버피팅문제를 완화하는 정규화 방법 중 하나인 적대적 드롭 아웃을 제안합니다. 적대적 드롭 아웃은 하나의 뉴럴 네트워크에서 적은 수의 뉴럴 유닛 만을 제거함에도 상이하게 다른 결과를 내보내는 하위 네트워크를 식별하고 이를 학습에 이용함으로써 성능에 크게 기여를 안하거나 잘못 학습된 뉴럴 유닛을 더 정확한 예측에 이용될 수 있게 합니다. 본 논문에서는 의도적으로 생성된 하위네트워크와 기존의 네트워크의 출력 사이의 간격을 줄이는 정규화 방법론을 제안하였고 이는 이론적으로 무작위 드롭 아웃이 가지고 있는 학습 모델과 예측 모델의 차이의 상한선을 제공한다는 것을 증명하였습니다. 제안된 정규화 방법의 실증적 성능 확인을 위하여 피드-포워드와 재귀 뉴럴 네트워크에서 다양한 각도에서의 실험을 진행하였고 그 결과 제안된 모델이 딥 뉴럴 네트워크의 일반화 오류를 감소시켜 오버피팅문제를 완화한다는 결론을 얻을 수 있었습니다.
