Continuous deep learning architectures have recently re-emerged as variants of Neural Ordinary Differential Equations (Neural ODEs). The infinite-depth approach offered by these models theoretically bridges the gap between deep learning and dynamical systems; however, deciphering their inner working is still an open challenge and most of their applications are currently limited to the inclusion as generic black-box modules. In this thesis, we "open the box" and offer a system-theoretic perspective, including state augmentation strategies and robustness, with the aim of clarifying the influence of several design choices on the underlying dynamics. We introduce novel architectures: among them, a Galerkin-inspired depth-varying parameter model and neural ODEs with data-controlled vector fields. Finally, graphs are linked to the theory of continuous models, resulting in the class of Graph Neural Ordinary Differential Equations (GDEs).
지속적인 딥 러닝 아키텍처는 최근 신경 미분 방정식(Neural ODE)의 변형으로 다시 등장했습니다. 이 모델들에 의해 제공되는 무한-깊이 접근법은 이론적으로 딥 러닝과 동적 시스템 사이의 격차를 해소합니다. 그러나 내부 작업을 해독하는 것은 여전히 어려운 과제이며 대부분의 응용 프로그램은 현재 일반 블랙 박스 모듈로 포함되도록 제한되어 있습니다. 이 논문에서 우리는 "상자를 연다"는 기본 역학에 대한 여러 설계 선택의 영향을 명확히하기 위해 상태 확대 전략 및 견고성을 포함한 시스템 이론적 관점을 제공합니다. 우리는 새로운 아키텍처를 소개합니다. 그 중에서도 Galerkin에서 영감을 얻은 깊이 가변 파라미터 모델과 데이터 제어 벡터 필드를 갖춘 신경 ODE가 있습니다. 마지막으로 그래프는 연속 모델 이론과 연결되어 그래프 신경 정규 미분 방정식 (GDE) 클래스가됩니다.지막으로 그래프는 연속 모델 이론과 연결되어 그래프 신경 정규 미분 방정식 (GDE) 클래스가됩니다.
