Accurate uncertainty quantification in graph neural networks (GNNs) is essential, especially in high-stakes domains where GNNs are frequently employed. Conformal prediction (CP) offers a promising framework for quantifying uncertainty by providing valid prediction sets for any black-box model. CP ensures formal probabilistic guarantees that a prediction set contains a true label with a desired probability. However, the size of prediction sets, known as inefficiency, is influenced by the underlying model and data generating process. On the other hand, Bayesian learning also provides a credible region based on the estimated posterior distribution, but this region is well-calibrated only when the model is correctly specified. Building on a recent work that introduced a scaling parameter for constructing valid credible regions from posterior estimate, our study explores the advantages of incorporating a temperature parameter into Bayesian GNNs within CP framework. We empirically demonstrate the existence of temperatures that result in more efficient prediction sets. Furthermore, we conduct an analysis to identify the factors contributing to inefficiency and offer valuable insights into the relationship between CP performance and model calibration.
그래프 신경망 (Graph neural networks; GNN)의 정확한 불확실성 정량화는 특히 GNN이 자주 사용되는 고위험 적용 분야에서 필수적이다. 컨포멀 예측 (Conformal prediction; CP)은 모든 블랙박스 모델에 유효한 예측 집합을 제공함으로써 불확실성을 정량화할 수 있는 유망한 프레임워크로, 예측 집합이 원하는 확률을 가진 진정한 레이블을 포함한다는 공식적인 확률적 보증을 보장한다. 그러나 비효율성이라고 알려진 예측 집합의 크기는 기본 모델과 데이터 생성 프로세스의 영향을 받는다. 반면 베이지안 학습은 추정된 사후 분포를 기반으로 신뢰할 수 있는 영역을 제공하지만, 이 영역은 모델이 올바르게 지정된 경우에만 잘 보정된 예측 집합을 얻을 수 있다. 이 논문에서는 사후 추정치로부터 유효한 신뢰성 있는 영역을 구축하기 위한 스케일링 매개변수를 도입한 최근 연구를 기반으로, CP 프레임워크 내에서 온도 매개변수를 베이지안 GNN에 통합하는 것의 이점을 다룬다. 우리는 보다 효율적인 예측 집합을 생성하는 온도의 존재를 실증적으로 입증하고, 온도에 따른 비효율성의 변화를 유발하는 요인을 파악하기 위해 CP 성능과 모델 보정 간의 관계에 대한 분석을 제시한다.
