The success of a specific neural network architecture is closely tied to the dataset and task it tackles; there is no one-size-fits-all solution. Thus, considerable efforts have been made to quickly and accurately estimate the performances of neural architectures, without full training or evaluation, for given tasks and datasets. Neural architecture encoding has played a crucial role in the estimation, and graph-based methods, which treat an architecture as a graph, have shown prominent performance. For enhanced representation learning of neural architectures, we introduce FlowerFormer, a powerful graph transformer that incorporates the information flows within a neural architecture. FlowerFormer consists of two key components: (a) bidirectional asynchronous message passing, inspired by the flows; (b) global attention built on flow-based masking. Our extensive experiments demonstrate the superiority of FlowerFormer over existing neural encoding methods, and its effectiveness extends beyond computer vision models to include graph neural networks and auto speech recognition models
특정 신경망 구조의 성공 여부는 그것이 다루는 데이터셋과 테스크에 밀접하게 연결되어 있으며, 모든 경우에 잘 작동하는 신경망 구조는 존재하지 않는다. 따라서, 주어진 테스크와 데이터셋에 대해 전체적인 학습이나 평가 없이 신경망 구조의 성능을 신속하고 정확하게 추정하기 위한 많은 노력이 있었다. 신경망 구조 인코딩은 이러한 신경망 성능 예측에서 중요한 역할을 해왔으며, 신경망 구조를 그래프로 취급하는 그래프 기반 방법들이 두드러진 성능을 보여왔다. 신경망 구조에 대한 향상된 표현 학습을 위해, 본 연구에서 우리는 신경망 구조 내의 정보 흐름을 포함하는 강력한 그래프 트랜스포머 모델인 FlowerFormer를 제시한다. FlowerFormer는 두 가지 주요 구성 요소로 구성된다: (a) 흐름을 인식하는 양방향 비동기 메시지 전달; (b) 흐름 기반 마스킹에 기반한 전역 어텐션. 우리의 실험은 FlowerFormer가 기존 신경 구조 인코딩 방법들을 능가하는 우수성을 입증하며, 그 효과는 컴퓨터 비전 모델 구조의 인코딩을 넘어 그래프 신경망과 자동 음성 인식 모델을 포함한다.
