Existing Graph Neural Networks (GNNs) usually assume a balanced situation where both the class distribution and the node degree distribution are balanced. However, in real-world situations, we often encounter cases where a few classes (i.e., head class) dominate other classes (i.e., tail class) as well as in the node degree perspective, and thus naively applying existing GNNs eventually fall short of generalizing to the tail cases. Although recent studies proposed methods to handle long-tail situations on graphs, they only focus on either the class long-tailedness or the degree long-tailedness. In this paper, we propose a novel framework for training GNNs, called Long-Tail Experts for Graphs (LTE4G), which jointly considers the class long-tailedness, and the degree long-tailedness for node classification. The core idea is to assign an expert GNN model to each subset of nodes that are split in a balanced manner considering both the class and degree long-tailedness. After having trained an expert for each balanced subset, we adopt knowledge distillation to obtain two class-wise students, i.e., Head class student and Tail class student, each of which is responsible for classifying nodes in the head classes and tail classes, respectively. We demonstrate that LTE4G outperforms a wide range of state-of-the-art methods in node classification evaluated on both manual and natural imbalanced graphs
현존하는 그래프 신경망들은 일반적으로 클래스 분포와 차수 분포가 모두 균형을 이루는 상황을 가정한다. 그러나 실제 상황에서는 일부 클래스(상위 클래스)가 다른 클래스(하위 클래스)를 지배하는 경우를 자주 접하게 되며 이는 차수 관점에서도 동일하게 성립된다. 이에 따라 기존 그래프 신경망을 그대로 실제 상황에 적용하는 것은 하위 클래스 및 차수로 하여금 일반화하는데 어려움을 수반하게 된다. 비록 최근 연구에서 이러한 롱테일 현상을 해결하기 위한 방법을 제안했지만, 클래스 혹은 차수 관점 중 오로지 한 측면에서만 집중하고 있다는 한계점을 지닌다. 이 논문에서 우리는 처음으로 클래스 및 차수의 불균형을 동시에 고려하여 그래프 신경망을 학습하는 새로운 프레임워크를 제안한다. 핵심 아이디어는 클래스와 차수의 롱테일을 모두 고려하여 균형 잡힌 방식으로 데이터 하위 집합을 만들고 그 하위 집합을 토대로 학습되는 전문 그래프 신경망 모델을 생성하는 것이다. 이 후 학습된 전문 모델(교사 모델)은 학생 모델에게 지식 증류를 해주고 최종적인 노드 클래스 판별을 담당할 두 가지의 학생, 상위 클래스 학생 그리고 하위 클래스 학생을 얻어낸다. 우리는 수동적으로 불균형을 만들어 낸 데이터 셋 그리고 자연적으로 불균형을 띈 데이터 셋 모두에서 제안될 모델이 효과적으로 노드 클래스 판별을 수행해 냄을 보인다.
