We address the application of the graph neural networks to the analysis of resting-state functional magnetic resonance image data. Graph neural networks rely on graph operations that include neural network training for various graph related tasks. Several attempts have been made to apply the graph neural networks to functional magnetic resonance image data. Despite the recent progresses, a common limitation is its difficulty to explain the classification results in a neuroscientifically explainable way. Here, we develop a framework for analyzing the functional magnetic resonance image data using the graph isomorphism network, which was recently proposed as a powerful graph neural network for graph classification. We deduce the theoretical observation that the spatial aggregation operation of the graph isomorphism network is a dual representation of convolutional neural network in the graph space where the shift operation is defined using the adjacency matrix. This understanding enables us to exploit the saliency map techniques built for convolutional neural networks for use in our model, which we tailor with the one-hot encoding of the node features to directly visualize the important regions of the brain. We validate our proposed framework using large-scale resting-state functional magnetic resonance image data for classifying the sex of the subject based on the graph structure of the brain. The experiment was consistent with our expectation such that the obtained saliency map show high correspondence with previous neuroimaging evidences related to sex differences.
One limitation of the forementioned method using graph isomorphism network is that it is applicable only to the analysis of static functional connectivity. We further extend the idea to propose a graph neural network framework for analyzing the dynamic functional connectivity, which considers the temporal fluctuation of the functional connectivity. The proposed spatio-temporal attention graph isomorphism network uses learned timestamping, graph-attention READOUT module, and the Transformer encoder to embed the whole graph representation of the dynamic functional connectivity, and makes frequency analysis and spatial region mapping possible with the learned attention values. We perform comparative studies to demonstrate the exceptional performance of the spatio-temporal attention graph isomorphism network, and discuss the spatial and temporal characteristic of the brain based on the attention analyses.
이 논문에서는 그래프 인공신경망을 적용한 휴지기 기능적 자기공명영상 분석을 다룬다. 그래프 인공신경망은 학습 가능한 인공 신경망을 그래프 연산에 적용하여 다양한 그래프 관련 문제를 해결할 수 있다. 이러한 그래프 인공신경망을 기능적 자기공명영상 데이터 분석에 적용하고자 하는 시도가 최근 진행되고 있다. 최근의 발전에 불구하고, 기존의 방법들은 학습된 모델로부터 신경과학적 해석을 도출하기 어렵다는 공통적인 한계점을 지니고 있었다. 이 논문에서는 그래프 분류에 탁월한 성능을 보이는 그래프 동형 네트워크를 이용하여 기능적 자기공명영상을 분류 및 분석하는 방법을 제시한다. 이론적으로는 그래프 동형 동형 네트워크의 공간적 합연산이, 그래프의 인접 행렬로 이동이 정의된 컨볼루션 인공신경망의 연산과 그래프 공간에서의 이중표상임을 보인다. 이러한 이론적 이해를 바탕으로 컨볼루션 인공신경망에서 정의되는 특징 시각화 기술을 그래프 공간으로 확장하며, 원-핫 인코딩으로 정점의 특징을 부호화하여 뇌의 중요한 영역을 직접적으로 시각화할 수 있도록 한다. 본 논문에서는 제시된 방법론을 대규모 휴지기 기능적 자기공명영상 데이터를 이용한 성별 분류 및 분석 실험을 통해 검증한다. 실험의 분석 결과는 기존의 성별과 연관된 것으로 알려진 뇌 영역들과 합치하게 나타났으며, 이를 통해 제시된 방법론의 타당성을 입증한다.
앞서 제시된 그래프 동형 네트워크를 이용한 기능적 자기공명영상 분석은 정적 기능적 연걸성 분석에 적용이 가능한 방법론이라는 한계점을 지닌다. 이 논문에서는 이를 확장하여 기능적 연결성의 시간적 변화를 포함하는 동적 기능적 연결성 분석에 적용이 가능한 그래프 인공신경망 구조를 또한 제안한다. 제안된 시공간 주의 그래프 동형 네트워크는 학습된 시점인증, 그래프 주의 판독 모듈, 그리고 트랜스포머를 이용하여 동적인 뇌영상 정보의 표상을 학습하며, 학습된 시공간 주의 값들로부터 뇌 영역 분석과 주파수 분석을 가능하게 한다. 본 논문에서는 비교 실험을 통해 시공간 주의 그래프 동형 네트워크의 성별 분류 성능의 우수성을 입증하며, 주의 값 분석을 통해 뇌의 시간적, 공간적 특징을 도출해 낸다.
