Due to the increasing prevalence of foundation models, the need for precisely understanding a pre-trained neural network and its predictions has become paramount. This paper aims to improve post-analysis methods for pre-trained neural networks. Among various post-analysis methods, this dissertation identifies and solves the limitations of the flat minima hypothesis, which is a parameter-based post-hoc analysis, and the influence function, which is a sample-based post-analysis. First, this dissertation demonstrates that the Laplace Approximation in Bayesian deep learning is susceptible to reparameterization, similar to the flat minima hypothesis. Then, we solve this problem through a new concept called connectivity. Second, this dissertation shows the additivity of the Graph Influence Function is broken for neighboring edges. Based on this, we propose an efficient algorithm that removes noisy edges that deteriorate the generalization of graph neural networks. Lastly, this dissertation shows the unimodal distributional bias of self-influence caused by the bilinearity of the influence function. Then, we propose a novel non-linear influence approximation based on Geometric Ensemble to mitigate this distributional bias.
기초 모델이 보급됨에 따라 사전 학습된 신경망과 그 예측을 정확하게 이해하고 개선하는 것의 중요성은 증가하고 있다. 이러한 맥락에서, 본 논문은 사전 훈련된 신경망를 이해하고 개선하는 사후 분석 방법들을 발전 시키는 것을 목표로 한다. 본 논문에서는 다양한 사후분석 방법 중 파라미터 기반 사후 분석 중 하나인 평탄 최적해 가설과 샘플 기반 사후 분석 중 하나인 영향 함수의 한계점들을 파악하고 해결한다. 첫째, 본 논문은 베이지안 딥러닝의 라플라스 근사가 평면 최소값 가설과 유사하게 재매개변수화에 취약하다는 것을 보인다. 그리고 이 문제를 연결성이라는 새로운 개념을 통해 해결한다. 둘째, 본 논문은 그래프 영향 함수의 가산성이 인접 모서리에 대해 작동하지 않음을 보인다. 이를 기반으로 효율적으로 그래프 신경망의 일반화에 방해되는 호들을 제거하는 알고리즘을 제안한다. 마지막으로 본 논문은 영향함수의 이중선형성으로 인해 자기영향 추정이 단봉 분포 편향을 겪고 있음을 보인다. 그런 다음 이러한 분포 편향을 겪지 않는 기하 앙상블 기반의 비선형 영향 근사치를 제안한다.
