Graph neural networks (GNNs) learn the representation of graph-structured data, and their expressiveness can be further enhanced by inferring node relations for propagation. Attention-based GNNs infer neighbor importance to manipulate the weight of its propagation. Despite their popularity, the discussion on deep graph attention and its unique challenges has been limited. In this work, we investigate some problematic phenomena related to deep graph attention, including vulnerability to over-smoothed features and smooth cumulative attention. Through theoretical and empirical analyses, we show that various attention-based GNNs suffer from these problems. Motivated by our findings, we propose AERO-GNN, a novel GNN architecture designed for deep graph attention. AERO-GNN provably mitigates the proposed problems of deep graph attention, which is further empirically demonstrated with (a) its adaptive and less smooth attention functions and (b) higher performance at deep layers (up to 64). On 9 out of 12 node classification benchmarks, AERO-GNN outperforms the baseline GNNs, highlighting the advantages of deep graph attention. Our code is available at https://github.com/syleeheal/AERO-GNN.
그래프 신경망(GNN)은 그래프 구조 데이터의 표현(Representation)을 학습하고, 그 표현력(Expressiveness)은 노드 관계를 추론해 개선할 수 있다. 어텐션 기반 GNN은 이웃 노드의 중요도를 추론해 전파 함수의 무게치를 조정한다. 어텐션 기반 GNN의 넓은 활용도에 반해, 심층 그래프 어텐션 및 그 고유의 어려움에 관한 논의는 적었다. 본 연구에서 우리는 심층 그래프 어텐션에서 발생하는 문제 현상인 노드 특성 과평활(Over-Smoothing)에 대한 취약성과 평활한 누적 어텐션(Smooth Cumulative Attention) 문제를 조사한다. 이어서 이론적, 실증적 분석을 통해 우리는 여러 어텐션 기반 GNN이 해당 문제를 겪음을 보여주고, 이를 증명 가능하게 완화하는 새로운 심층 그래프 어텐션 모형인 AERO-GNN을 제시한다. 제안한 두 심층 어텐션 문제를 AERO-GNN이 실증적으로도 완화했음을 보이기 위해, AERO-GNN의 (a) 적응적이고 덜 평활한 어텐션 함수와 (b) 더 깊은 레이어(최대 64)에서의 더 높은 성능을 보인다. 총 12개 중 9개의 노드 분류 벤치마크에서 AERO-GNN이 베이스라인 GNN을 상회하는 성능을 보여, 심층 그래프 어텐션의 강점을 추가로 보여준다.
