This paper investigates the generalization property of a sum-product network (SPN) in which the parameters are learned based on large-margin criterion and dropout. The learning criterion minimizes an objective function defined as a sum of an $L_{2}$ regularizer and a smooth hinge function of the margin that is defined as the smallest difference in unnormalized conditional probability between the true label and its closest competitor. The partial derivatives with respect to all the parameters of the SPN can be computed with backpropagation. To further improve the generalization of the SPN, the sum nodes (or max nodes in max-product network) are dropped out with Bernoulli distribution of a half during learning: dropout reduces overfitting by model-averaging. The large-margin based learning outperforms previously proposed discriminative learning of SPNs on CIFAR-10 and STL-10 for various training data size. The performance gain with large-margin learning increases with decrease in the number of training data. With dropout, the performance of large-margin is further improved for the two benchmark datasets.
Sum-Product Networks (SPNs) 는 2011년에 푼과 도밍고 (Poon and Domingos) 처음 제시된 �喘�그래피컬 모델로써 기존의 확률 그래피컬 모델이 요소들의 곱으로 파티션 함수 (Partition function)을 정의하던 것을 요소들의 가중 합(Weighted sum)으로 표현함으로써 기존의 모델보다 더 빠른 시간내로 더 정확한 성능을 보이고 있다.
푼과 도밍고는 SPNs를 이용하여 얼굴의 반이 지워진 상태에서 나머지 반을 완성하는 작업에서 기존의 확률그래피컬 모델을 이용한 Deep Belief Networks (DBN), Deep Boltzmann Machine (DBM), Principal Component Analysis (PCA)보다 빠른 시간내로 더 좋은 결과를 보였다. 2012년에 젠과 도밍고는 (Gens and Domingos) 이를 더욱 발전시켜서 차등 학습법 (Discriminative Learning)을 제시했고 CIFAR-10과 STL-10에서 당시 최고의 성능을 보여서 SPNs이 분류기 (Classifier) 역할을 수행할 수 있음을 증명했다. 하지만 젠과 도밍고가 제시한 알고리즘은 정답일 라벨의 비정규화 확률 (Unnormalized Probability)와 파티션 함수의 차이를 이용해서 파라미터를 학습했기 때문에 정답 라벨의 비정규화 확률이 충분히 클 경우 더 이상 학습이 되지 않는 문제점이 있다. 본 논문에서는 이를 해결하기 위해서 정답 라벨과 나머지 라벨의 마진 (Margin)을 고려한 목적 함수 (Objective function)와 이를 역전파 (Backpropagation) 할 때, Dropout 기법을 적용했고 CIFAR-10, STL-10 두 개의 이미지 데이터셋에 대해서 기존의 차등 학습법을 이용한 SPNs보다 더 좋은 성능을 보이는 것을 확인했다.
