서지주요정보
Multi-agent reinforcement learning with a graph neural network for OHT traffic control = 그래프 신경망을 활용한 다중 에이전트 강화 학습 OHT 컨트롤에 관하여
서명 / 저자 Multi-agent reinforcement learning with a graph neural network for OHT traffic control = 그래프 신경망을 활용한 다중 에이전트 강화 학습 OHT 컨트롤에 관하여 / Seongcheol Woo.
저자명 Woo, Seongcheol ; 우성철
발행사항 [대전 : 한국과학기술원, 2019].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8033640

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MIE 19010

SMS전송 소장위치

도서상태

이용가능

대출가능

반납예정일

초록정보

A large-scale engineering system is typically composed of numerous agents conducting specified tasks to achieve system-level goals. It is generally challenging to derive a control policy that maps the system level state to jointly control inputs for all the subsystems due to the difficulties in modeling interactions among agents and coordinating them efficiently toward achieving their goals, especially when there is no prescribed model describing the dynamics of the target system. In this study, we propose an efficient multi-agent reinforcement learning (MARL) algorithm with a graph neural network (GNN) as a base building block to model the interactions among agents and the decentralized policies for every agent. Notably, we use a graph structure to represent the relationships of agents in a system and message passing strategies to coordinate them implicitly in achieving the cooperative goals; we call this method “Graph-MARL.” We implement the proposed GNN-based MARL approach to mitigate the congestion of overhead hoist transports (OHTs) that perform tasks of handling material in a semiconductor FAB. Specifically, the proposed method controls the flows of 48 merging intersections in the target AMHS rail given a current state of the system represented as a graph. Simulation studies demonstrate that the proposed method dramatically reduces the congestion level and improves the productivity of the OHT systems, especially when there is a large number of OHTs densely working in a FAB.

대규모 공학 시스템은 시스템 수준의 목표를 달성하기 위해 지정된 작업을 수행하는 수많은 에이전트로 구성된다. 일반적으로 전체 시스템의 상태를 매핑하여 에이전트 간의 상호 작용을 모델링하고 공동의 목표 달성을 위해 이들을 효율적으로 조정하는 것이 어렵기 때문에, 하위 시스템에 대한 입력을 공동으로 제어하며 목표 시스템의 특성을 내재할 수 있는 제어 정책을 유도하는 것은 매우 어렵다. 본 연구에서는 에이전트 간의 상호 작용과 분산된 정책을 모든 에이전트에 대해 모델링 할 수 있는 그래프 신경망 기반 다중-에이전트 강화 학습 알고리즘을 제안한다. 특히 본 방법론은 그래프 구조를 사용하여 시스템에서의 에이전트 간의 관계를 나타내고, 메시지 전달 전략을 사용하여 협업 목표 달성을 내재적으로 조율하는 것을 특징으로 한다. 이 방법론을 \say{Graph-MARL}이라고 부른다. 우리는 제안한 그래프 신경망 기반 다중-에이전트 강화학습 알고리즘을 통해 반도체 FAB에서 물질 처리 작업을 수행하는 OHT의 혼잡을 완화하는 정책을 수립하였다. 특히, 제안된 방법론은 그래프로 표현된 시스템의 전체 상태를 고려하여 대상 AMHS에서 48개 교차점의 흐름을 제어한다. 시뮬레이션 연구 결과 FAB에서 밀집된 대량의 OHT가 운용되는 경우 제안된 방법론이 시스템의 혼잡도를 크게 줄이고 생산성을 향상시킬 수 있음을 확인하였다.

서지기타정보

서지기타정보
청구기호 {MIE 19010
형태사항 iii, 31 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 우성철
지도교수의 영문표기 : Jinkyoo Park
지도교수의 한글표기 : 박진규
학위논문 학위논문(석사) - 한국과학기술원 : 산업및시스템공학과,
서지주기 References : p. 28-29
주제 Graph neural network
multi-agent reinforcement learning
AMHS control
OHT system
traffic control
congestion mitigation
그래프 신경망
다중-행위자 강화학습
지능형 물류 자동화 시스템
천장형 대차 시스템
교통 제어
혼잡도 관리
QR CODE qr code