As Graph Neural Networks (GNNs) have emerged as a mainstream algorithm in many research areas, designing a GNN accelerator becomes a new challenge. Compared to previous DNNs, GNNs include characteristics of both graph processing and neural networks. In this paper, we analyze the workload of GNNs executed on existing hardware platforms and identify the intensive DRAM access as the main bottleneck for accelerating GNNs. Focusing on this problem, we propose a series of schemes, both hardware and algorithm side, to reduce DRAM access. Our work achieves on average 3.67x, 5.36x, 3.49x speedup than the GPU on GCN, SAGE, and GAT.
기존의 심층신경망 패러다임이 그래프 해석 분야에 적용되면서 등장한 그래프 신경망은 새로운 연구 분야로서 주목받고 있다. 이에 따라 하드웨어 가속기 디자인 분야에서도 그래프 신경망 가속기에 대한 연구가 활발히 이루어지고 있는 상황이다. 그래프 신경망은 기존의 합성곱 신경망과 같은 심층 신경망과 다르게 연산 집중적인 부분과 메모리 집중적인 부분을 동시에 다뤄야 하는 문제를 갖고 있다. 본 논문에서는 그래프 신경망을 기존의 하드웨어 플랫폼에서 여러 가지 변수들을 토대로 분석한 후, 많은 양의 디램 접근이 연산의 병목이 됨을 지적한다. 그리고 위에서 분석한 내용을 토대로 알고리즘과 하드웨어적으로 디램 접근을 최소화 할 수 있는 방법들을 순차적으로 제시한다. 최종적으로 알고리즘 하드웨어 최적화를 통하여 그래프 신경망 추론 과정에서 GCN, SAGE, GAT 세 가지 네트워크에서 GPU 대비 각각 3.67배, 5.36배, 3.49배의 속도 향상 얻게 되었다.
