Graph Neural Networks (GNN) have been proven effective in non-euclidean data such as social networks, biology networks, and chemistry networks. There are various ways to further improve network performance. Numerous papers have found that enlarging model size is not a viable solution in improving the model’s performance due to over-smoothing. Feasible methods to improve performance were therefore considered, with the Ensemble method put forth as the most appropriate approach. We therefore decided to conduct experiments using the Ensemble method, and as an extension, applied BatchEnsemble, an Ensemble method of greater efficiency, to graph-structured datasets and neural networks to observe its effectiveness in such contexts. In this paper, BatchEnsemble is proven to achieve better performance than the Ensemble with GNNs. For credibility, we tested the performance of both Ensemble and BatchEnsemble on node classification (Cora, CiteSeer, and PubMed) and graph classification tasks (MUTAG, PROTEINS, and COLLAB) using three iconic GNNs: Graph Convolutional Network, Graph Isomorphism Network, and Graph Attention Network. The BatchEnsemble yielded better accuracy and uncertainty measures than the Ensemble method on both node and graph classification tasks; both training and inference times were faster in the BatchEnsemble setting.
그래프 신경망은 소셜 네트워크, 생물학 네트워크, 화학 네트워크 등과 같은 비유클리드 데이터에서 효과적인 것으로 입증이 되었습니다. 네트워크 성능을 더욱 향상시킬 수 있는 다양한 방법이 있습니다. 많은 논문들이 모델의 크기를 확대하는 것이 과적합때문에 모델의 성능 개선을 위한 해결책이 아니라는 것을 말하고 있습니다. 따라서 성능 향상을 위한 실현 가능한 방법들이 고려되었으며, 가장 적절한 접근법으로 앙상블 방법이 제시되었습니다. 따라서 앙상블 방법을 사용하여 실험을 수행하기로 결정하였고, 그 확장으로 효율성이 더 높은 앙상블 방법인 배치앙상블을 그래프 구조화된 데이터 세트와 그래프 신경망에 적용하여 효과를 관찰하였습니다. 본 논문에서, 배치앙상블을 조합한 그래프 신경망이 앙상블을 조합한 그래프 신경망보다 더 나은 성능을 달성하는 것으로 입증되었습니다. 우리는 신뢰성을 위해,세개의 상징적인 그래프 신경망을 사용하여 노드 분류 및 그래프 분류 작업에서 앙상블과 배치앙상블 조합의 성능을 비교하였습니다. 배치앙상블은 노드와 그래프 분류 작업 모두에서 앙상블 방법보다 더 나은 정확도와 불확실성 측정을 산출했습니다. 훈련과 추론 시간 또한 배치앙상블 설정에서 모두 더 빠른 결과를 보여줬습니다.
