서지주요정보
Adversarial dropout for deep neural networks = 딥 뉴럴 네트워크 학습 향상을 위한 적대적 드롭아웃
서명 / 저자 Adversarial dropout for deep neural networks = 딥 뉴럴 네트워크 학습 향상을 위한 적대적 드롭아웃 / Sungrae Park.
저자명 Park, Sungrae ; 박성래
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8032641

소장위치/청구기호

학술문화관(문화관) 보존서고

DIE 18015

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Deep neural networks have demonstrated their usefulness in a wide range of applications such as vision, voice, natural language processing. A deep neural network provides high capacity for better modeling the input-to-output transition of real data. However, the high capacity potentially occurs an over-fitting problem that indicates a large gap between the training error and generalization error. To alleviate this problem, this dissertation proposes a novel regularization technique. Specifically, adversarial dropout identifies a subnetwork that performs worse or provides output far from the output of the origin network, even though most of the neurons in the origin network are contained in the subnetwork. We developed a regularization that reduces the gap between the output of the intentionally perturbed network and the correct target, or the output of the origin network. Additionally, we theoretically proved that the regularization was the upper bound of the gap between the training and the inference phases of the random dropout. Our experiments demonstrated the applicability of adversarial dropout to two types of deep neural networks such as feed-forward neural networks and recurrent neural networks.

딥 뉴럴 네트워크는 입력에서 출력까지 깊게 연결된 뉴럴 네트워크로 실제 데이터의 복잡한 입출력 전환을 표현하기에 적합한 모델입니다. 하지만 이런 깊게 연결된 구조는 모델의 복잡성을 증가시키고 학습 오류와 일반화 오류의 차이가 커지는 오버피팅문제를 야기할 수 있습니다. 본 논문은 이러한 오버피팅문제를 완화하는 정규화 방법 중 하나인 적대적 드롭 아웃을 제안합니다. 적대적 드롭 아웃은 하나의 뉴럴 네트워크에서 적은 수의 뉴럴 유닛 만을 제거함에도 상이하게 다른 결과를 내보내는 하위 네트워크를 식별하고 이를 학습에 이용함으로써 성능에 크게 기여를 안하거나 잘못 학습된 뉴럴 유닛을 더 정확한 예측에 이용될 수 있게 합니다. 본 논문에서는 의도적으로 생성된 하위네트워크와 기존의 네트워크의 출력 사이의 간격을 줄이는 정규화 방법론을 제안하였고 이는 이론적으로 무작위 드롭 아웃이 가지고 있는 학습 모델과 예측 모델의 차이의 상한선을 제공한다는 것을 증명하였습니다. 제안된 정규화 방법의 실증적 성능 확인을 위하여 피드-포워드와 재귀 뉴럴 네트워크에서 다양한 각도에서의 실험을 진행하였고 그 결과 제안된 모델이 딥 뉴럴 네트워크의 일반화 오류를 감소시켜 오버피팅문제를 완화한다는 결론을 얻을 수 있었습니다.

서지기타정보

서지기타정보
청구기호 {DIE 18015
형태사항 v, 63 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 박성래
지도교수의 영문표기 : Il-Chul Moon
지도교수의 한글표기 : 문일철
학위논문 학위논문(박사) - 한국과학기술원 : 산업및시스템공학과,
서지주기 References : p. 56-61
주제 Deep Neural Networks
regularization
optimization
adversarial training
supervised learning
semi-supervised learning
sequence modeling
dropout
인공지능
뉴럴네트워크
정규화
지도학습
반지도학습
QR CODE qr code