While machine learning algorithms and models for graph-structured data have been actively studied, the problems of handling new entities (nodes) and representing entire graphs remain challenging. My thesis focuses on how to tackle such problematic issues on a graph. In other words, we develop methods for representing unseen entities and entire graphs more accurately, summarized into two folds:
For the problem of representing unseen entities, we first introduce a realistic task of out-of-graph link prediction that aims to predict missing links for unseen entities. Then, to tackle this, we propose a transductive meta-learning framework that makes it possible to simulate the unseen during training. We validate our method on benchmark datasets for knowledge graph completion and drug-drug interaction prediction. The experimental results show that our method significantly outperforms existing baselines on the out-of-graph link prediction task, due to its effectiveness in accurately representing unseen entities.
For the problem of representing entire graphs, we aim to embed different graphs into distinct vectors. To do so, we consider the graph encoding problem as a multiset encoding problem, which allows for possibly repeating elements, since a graph may have redundant nodes. Then, over the multiset encoding scheme, we propose a graph multiset transformer that captures interaction among nodes, while reducing the size of the given graph, to obtain a compact yet entire graph representation. We theoretically prove that our method is as powerful as the Weisfeiler-Lehman graph isomorphism test, but also empirically show that it outperforms baselines on graph classification, reconstruction, and generation tasks.
We believe both of our approaches contribute to the optimal goal of accurate learning of real-world graphs, often evolving with unseen nodes and having a large number of nodes to capture at once.
그래프 데이터를 위한 학습 방법이 활발히 연구되고 있지만, 이전에 관측하지 못한 개체(노드)를 다루거나, 전체 그래프를 하나의 표현으로 나타내는 것은 도전적인 과제로 남아있다. 본 논문에서는 그래프의 정확한 표현을 가로막는 위 두 문제의 해결 방법을 소개한다. 첫 번째로 새롭게 관측한 개체의 기존 그래프 통합이라는 실제 문제를 정의하고, 문제 해결을 위한 트랙스덕티브 메타 학습을 제안한다. 또한 제안한 방법론이 지식 그래프와 약물 상호작용 그래프에서 새로운 지식과 약물을 잘 표현하여, 그래프 내외 개체들과 올바른 관계(엣지)를 형성하는 것을 보인다. 두 번째로 서로 다른 두 그래프를 다른 공간에 표현하기 위해 그래프 중복집합 풀링 방법론을 제안한 다음, 방법론이 이론적으로 단사 함수를 근사할 수 있음을 보인다. 더 나아가 그래프 분류, 복원 및 생성 문제에서 기존 방법론 대비 높은 성능을 달성하는 것을 보인다. 제안한 두 방법이 보다 정확한 그래프 표현에 크게 기여함을 기대한다.
