서지주요정보
Large-margin and dropout learning of sum-product networks = Sum-Product Networks의 Large-Margin 기반 및 Dropout 학습법
서명 / 저자 Large-margin and dropout learning of sum-product networks = Sum-Product Networks의 Large-Margin 기반 및 Dropout 학습법 / Ho-Yong Jang.
저자명 Jang, Ho-Yong ; 장호용
발행사항 [대전 : 한국과학기술원, 2014].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8027087

소장위치/청구기호

학술문화관(문화관) 보존서고

MPD 14008

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

This paper investigates the generalization property of a sum-product network (SPN) in which the parameters are learned based on large-margin criterion and dropout. The learning criterion minimizes an objective function defined as a sum of an $L_{2}$ regularizer and a smooth hinge function of the margin that is defined as the smallest difference in unnormalized conditional probability between the true label and its closest competitor. The partial derivatives with respect to all the parameters of the SPN can be computed with backpropagation. To further improve the generalization of the SPN, the sum nodes (or max nodes in max-product network) are dropped out with Bernoulli distribution of a half during learning: dropout reduces overfitting by model-averaging. The large-margin based learning outperforms previously proposed discriminative learning of SPNs on CIFAR-10 and STL-10 for various training data size. The performance gain with large-margin learning increases with decrease in the number of training data. With dropout, the performance of large-margin is further improved for the two benchmark datasets.

Sum-Product Networks (SPNs) 는 2011년에 푼과 도밍고 (Poon and Domingos) 처음 제시된 �喘�그래피컬 모델로써 기존의 확률 그래피컬 모델이 요소들의 곱으로 파티션 함수 (Partition function)을 정의하던 것을 요소들의 가중 합(Weighted sum)으로 표현함으로써 기존의 모델보다 더 빠른 시간내로 더 정확한 성능을 보이고 있다. 푼과 도밍고는 SPNs를 이용하여 얼굴의 반이 지워진 상태에서 나머지 반을 완성하는 작업에서 기존의 확률그래피컬 모델을 이용한 Deep Belief Networks (DBN), Deep Boltzmann Machine (DBM), Principal Component Analysis (PCA)보다 빠른 시간내로 더 좋은 결과를 보였다. 2012년에 젠과 도밍고는 (Gens and Domingos) 이를 더욱 발전시켜서 차등 학습법 (Discriminative Learning)을 제시했고 CIFAR-10과 STL-10에서 당시 최고의 성능을 보여서 SPNs이 분류기 (Classifier) 역할을 수행할 수 있음을 증명했다. 하지만 젠과 도밍고가 제시한 알고리즘은 정답일 라벨의 비정규화 확률 (Unnormalized Probability)와 파티션 함수의 차이를 이용해서 파라미터를 학습했기 때문에 정답 라벨의 비정규화 확률이 충분히 클 경우 더 이상 학습이 되지 않는 문제점이 있다. 본 논문에서는 이를 해결하기 위해서 정답 라벨과 나머지 라벨의 마진 (Margin)을 고려한 목적 함수 (Objective function)와 이를 역전파 (Backpropagation) 할 때, Dropout 기법을 적용했고 CIFAR-10, STL-10 두 개의 이미지 데이터셋에 대해서 기존의 차등 학습법을 이용한 SPNs보다 더 좋은 성능을 보이는 것을 확인했다.

서지기타정보

서지기타정보
청구기호 {MPD 14008
형태사항 iv, 33 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 장호용
지도교수의 영문표기 : Chang-Dong Yoo
지도교수의 한글표기 : 유창동
학위논문 학위논문(석사) - 한국과학기술원 : 미래자동차학제전공,
서지주기 References : p. 26-29
주제 Sum-Product Networks (SPNs)
Large-Margin
Dropout
Deep Learning
합-곱 망 (SPNs)
확장 마진
드랍 아웃
딥 러닝
QR CODE qr code