As artificial intelligence (AI) systems become more pervasive throughout various fields, the reliability
of deep learning models in real-life applications is becoming more important. In this dissertation, a
method for improving the robustness of a deep learning model to operate safely within various situations
potentially occurring in real life was studied. In the first study of this dissertation, an anomaly detection
method is proposed to make the deep learning model operate safely against the abnormal data which is
unseen in the training. This study focused on the deep generative model among various deep learning
models to detect anomalies. By formulating the anomaly detection problem as a Bayesian hypothesis
test, the locally powerful Bayesian hypothesis test using a deep generative model is proposed. In the
second study, a robust density estimation method against adversarial examples is proposed to maintain
the performance of the deep learning model despite external disturbances. In this study, the flow-based
generative model, standing as one of the deep generative models, is extended to a Bayesian flow-based
generative model. Compared to the existing models, the Bayesian flow-based generative model has robust
performance even in the adversarially generated test data. In the third study, by expanding the second
study, a method to improve the generalization ability of deep learning models is proposed to enhance
the performance of models in practical applications. In this study, a new prior distribution that can
be generally applied to Bayesian deep learning models called ‘inverse reference prior distribution’, is proposed. The inverse reference prior distribution regulates the Fisher information matrix of the Bayesian deep learning models and effectively improves the generalization ability of the deep learning models.
다양한 분야에 인공지능형 시스템들이 보편화됨에 따라 딥러닝 모델의 실생활 응용에 대한 신뢰성이 중요
해지고 있다. 본 학위논문에서는 실생활에서 발생할 수 있는 다양한 상황들에 대해 안전하게 작동할 수
있도록 딥러닝 모델의 강건함을 향상시키는 방법에 대해 연구하였다. 본 학위논문의 첫 번째 연구에서는
딥러닝 모델이 학습하지 않은 데이터에 대해 안전하게 작동하도록 하기 위해, 이상 데이터를 탐지하는 방법
을 제안하였다. 이 연구에서는 다양한 딥러닝 모델 중에서 심층 생성 모델에 초점을 맞추어 이상 데이터를
탐지하였다. 이 연구에서 이상 탐지 문제를 베이지안 가설 검정으로 수식화되었으며, 심층 생성 모델을 이
용하여 국부적으로 가장 강력한 베이지안 가설 검정을 시행하는 방법을 제안하였다. 본 학위논문의 두 번째
연구에서는 딥러닝 모델이 외부의 방해에도 성능이 유지될 수 있도록, 적대적으로 생성된 데이터에 대해서도
강건하게 밀도 추정할 수 있는 방법을 제안한다. 이 연구에서는 심층 생성 모델 중 하나인 흐름 기반의 생성
모델을 베이지안 흐름 기반의 생성 모델로 확장하였다. 베이지안 흐름 기반의 생성 모델은 기존의 모델에
비해 적대적으로 생성된 테스트 데이터에 대해서도 강건한 성능을 갖는다. 세 번째 연구에서는 두 번째 연구
주제를 확장하여, 딥러닝 모델이 실제 응용에서 더 좋은 성능을 보일 수 있도록 딥러닝 모델의 일반화 능력을
향상시키는 방법을 제안하였다. 이 연구에서는 베이지안 딥러닝 모델에 일반적으로 적용될 수 있는 새로운
사전 분포인 역참조 사전 분포를 제안하였다. 역참조 사전 분포는 베이지안 딥러닝 모델의 피셔 정보 행렬을
규제하여 딥러닝 모델의 일반화 능력을 효과적으로 향상시켰다.
