A large-scale engineering system is typically composed of numerous agents conducting specified tasks to achieve system-level goals. It is generally challenging to derive a control policy that maps the system level state to jointly control inputs for all the subsystems due to the difficulties in modeling interactions among agents and coordinating them efficiently toward achieving their goals, especially when there is no prescribed model describing the dynamics of the target system.
In this study, we propose an efficient multi-agent reinforcement learning (MARL) algorithm with a graph neural network (GNN) as a base building block to model the interactions among agents and the decentralized policies for every agent. Notably, we use a graph structure to represent the relationships of agents in a system and message passing strategies to coordinate them implicitly in achieving the cooperative goals; we call this method “Graph-MARL.”
We implement the proposed GNN-based MARL approach to mitigate the congestion of overhead hoist transports (OHTs) that perform tasks of handling material in a semiconductor FAB. Specifically, the proposed method controls the flows of 48 merging intersections in the target AMHS rail given a current state of the system represented as a graph. Simulation studies demonstrate that the proposed method dramatically reduces the congestion level and improves the productivity of the OHT systems, especially when there is a large number of OHTs densely working in a FAB.
대규모 공학 시스템은 시스템 수준의 목표를 달성하기 위해 지정된 작업을 수행하는 수많은 에이전트로 구성된다. 일반적으로 전체 시스템의 상태를 매핑하여 에이전트 간의 상호 작용을 모델링하고 공동의 목표 달성을 위해 이들을 효율적으로 조정하는 것이 어렵기 때문에, 하위 시스템에 대한 입력을 공동으로 제어하며 목표 시스템의 특성을 내재할 수 있는 제어 정책을 유도하는 것은 매우 어렵다.
본 연구에서는 에이전트 간의 상호 작용과 분산된 정책을 모든 에이전트에 대해 모델링 할 수 있는 그래프 신경망 기반 다중-에이전트 강화 학습 알고리즘을 제안한다. 특히 본 방법론은 그래프 구조를 사용하여 시스템에서의 에이전트 간의 관계를 나타내고, 메시지 전달 전략을 사용하여 협업 목표 달성을 내재적으로 조율하는 것을 특징으로 한다. 이 방법론을 \say{Graph-MARL}이라고 부른다.
우리는 제안한 그래프 신경망 기반 다중-에이전트 강화학습 알고리즘을 통해 반도체 FAB에서 물질 처리 작업을 수행하는 OHT의 혼잡을 완화하는 정책을 수립하였다. 특히, 제안된 방법론은 그래프로 표현된 시스템의 전체 상태를 고려하여 대상 AMHS에서 48개 교차점의 흐름을 제어한다. 시뮬레이션 연구 결과 FAB에서 밀집된 대량의 OHT가 운용되는 경우 제안된 방법론이 시스템의 혼잡도를 크게 줄이고 생산성을 향상시킬 수 있음을 확인하였다.
