Neural networks have proven successful at learning from complex data distributions by acting as universal function approximators. However, they are often overconfident in their predictions, which leads to inaccurate and miscalibrated probabilistic predictions. The problem of overconfidence becomes especially apparent in cases where the test-time data distribution differs from that which was seen during training. We propose a solution to this problem by seeking out regions of feature space where the model is unjustifiably overconfident, and conditionally raising the entropy of those predictions towards that of the prior distribution of the labels. Our method results in a better calibrated network and is agnostic to the underlying model structure, so it can be applied to any neural network which produces a probability density as an output. We demonstrate the effectiveness of our method and validate its performance on both classification and regression problems, applying it to recent probabilistic neural network models.
인공 신경망은 포괄적인 함수 근사치로서 복잡한 데이터 분포를 효과적으로 배울수 있음이 밝혀졌다. 그러나 모델의 예측값은 너무 과신되어 있어서, 부정확하고 교정되지 않은 확률값을 갖게된다. 이러한 문제점은 테스트 데이터 분포가 학습데이터 분포와 다를 때 확연히 드러난다. 이러한 문제를 해결하기 위해 비정상적으로 모델이 예측값을 확신하고 있는 지역을 찾아내고, 엔트로피를 증가시켜 사전분포와 비슷해지도록 만드는 방법을 제안한다. 이 방법론은 네트워크의 예측값을 더 잘 보정시켜주며, 모델의 구조와는 상관없이 확률밀도를 출력값으로 내는 어떠한 인공 신경망에 적용할 수 있다. 최근에 제안된 확률론적 인공신경망에 이러한 방법론을 적용하여 분류와 회귀 문제에서 제안된 방법론의 우수성을 확인하였다.
