Transformers have been widely employed and demonstrated success in many domains such as language and vision. While recent approaches have extended and applied them to the graph domain, e.g., graph property prediction, their success has been limited to predicting the properties of small-scale graphs. However, in practice, it is crucial to efficiently predict graph properties (e.g., node and edge) for large graph-structured data such as those from the Internet and biology. To this end, we propose a novel Link Prediction Transformer, called LiT, that exploits specialized tokens from the extracted subgraphs as embedding inputs to the Transformer for link prediction in a large-scale graph. With our proposed type, node, and position identifiers that effectively encode the graph properties, we verify that local subgraphs embed sufficient information for predicting links in a graph, and demonstrate at least comparable or superior performance to those of Graph Neural Networks (GNN)-based state-of-the-art models. We further identify important nodes and edges from the attention score matrices and examine the effect of each identifier and each encoding in the position identifier in subgraph token encoder.
트랜스포머는 언어 및 비전과 같은 많은 영역에서 널리 사용되고 성공을 거두었다. 최근의 접근 방식은 그래프 속성 예측 등의 그래프 영역으로 확장되고 적용되었지만, 작은 스케일의 그래프의 속성을 예측하는데 제한되었다. 그러나 실제로는 인터넷 및 생물학에서 유래된 대규모 그래프 구조 데이터에 대한 노드 및 엣지 등의 그래프 속성을 효율적으로 예측하는 것이 중요하다. 이를 위해, 우리는 추출된 서브그래프의 특수 토큰을 대규모 그래프의 링크 예측을 위해 트랜스포머에 임베딩 입력으로 활용하는 LiT(Link Prediction Transformer)라는 새로운 링크 예측 트랜스포머를 제안한다. 그래프 속성을 효과적으로 인코딩하기 위해 제안한 유형, 노드 및 위치 식별자를 사용하여 로컬 서브그래프가 그래프의 링크를 예측하기에 충분한 정보를 포함하고 있는지 확인하고, 그래프 신경망(GNN) 기반의 최첨단 모델과 최소한 비슷하거나 보다 우수한 성능을 보인다. 우리는 어텐션 스코어 행렬에서 중요한 노드와 엣지를 추가로 식별하고 서브그래프 토큰 인코더의 각 식별자 및 위치 식별자의 각 인코딩이 미치는 영향을 조사한다.
