Regularization is one of the important things when we deal with deep neural networks due to their highly flexibilities to fit the large scale data with huge number of parameters in various domain. Dropout is one of the most popular regularization techniques often used in this field. Bayesian neural networks have theoretically grounded benefits of regularization in the perspective of marginalizing the distribution of parameters instead of model averaging. But the intractable integrations and sampling costs are obstacles in the Bayesian approach.
However, recent studies proposed probabilistic based efficient variational inference methods. In this paper, we propose a dropout neural network using Bayesian approach which learns dropout rates adaptively to the data. Also we propose alternating algorithm using empirical Bayes recursive scheme, which enforce to learn hyper-parameters from the validation data. The algorithm avoids over-fitting to the training data and improves performance further. We report the comparisons of the performances to other dropout methods.
본 논문에서는 베이지안 분석에 기반한 뉴럴 네트워크의 드롭아웃 학습에 대해 다루었다. 딥 뉴럴 네트워크는 다양한 데이터에 대해 뛰어난 학습 능력을 보이지만 한편으로 데이터에 대한 과밀적합(Over-fitting) 현상을 줄이는 연구가 계속 되어지고 있다. 드롭아웃은 딥 뉴럴 네트워크를 사용함에 있어서 과밀적합을 방지하기 위해 보편적으로 사용하는 정규화(Regularization) 방법이다. 베이지안 뉴럴 네트워크는 베이지안 접근 방법을 통해 이론적인 뒷받침과 함께 정규화에 대한 이점을 얻을 수 있으나 일반적인 뉴럴 네트워크와 달리 파라미터의분포를 계산해야 함에 있어 대용량 데이터와 딥 뉴럴 네트워크를 다루는 데 어려움이 있었다. 그러나 최근 개발된 확률기반의 효율적인 변분 추론(Variational Inference) 방법들이 그 어려움을 개선하여 최근 연구에서 많이 사용되고 있다. 본 연구에서는 이러한 최신 기술을 이용해 베이지안 뉴럴 네트워크로 드롭아웃을 모델링하고 수작업으로 튜닝하는 드롭아웃 비율을 데이터와 함게 자동으로 학습될 수 있도록 설계하였다. 본 연구의 효과는 실험을 통해 다른 드롭아웃 방법들과 비교를 하였고, 본 연구에서 사용한 방법이 정규화에 관련한 하이퍼 파라메터인 드롭아웃 비율을 데이터 기반으로 학습함에 있어 학습 데이터로의 과밀적합 문제를 발견하였고, 그것을 해결하기 위해 경험적 베이지안의 재귀적인 접근방법을 활용한 알고리즘을 제안하고 추가적인 성능향상을 실험으로 입증하였다.
