In the majority of engineering problems, modeling a dynamic system usually concerned with estimating the motion of a rigid body on a Euclidean space by means of Newtonian mechanics. In Newtonian mechanics, as far as we can keep track of all the forces acting on entire bodies, we can estimate the motion of the bodies, which means the dynamic characteristics of the system can be explicitly understandable.
When the system configuration is just a bit more complicated, however, it is difficult to analyze the relationship between the forces acting between the objects, and the Newtonian approach cannot easily applicable. In the field of aerospace engineering, for example, a single aircraft can be easily modeled as a rigid body. Yet, simple applications such as controlling an object suspended from an aircraft, designing a slung load transportation system with multiple UAVs, and stabilizing an inverted pendulum on top of a multi-rotor aircraft are considered to be difficult problems from the Newtonian perspective.
Therefore, in this dissertation, we propose machine learning approaches in modeling and control of a dynamic system, to which the analytic solution cannot be easily achievable. To this end, we exploit differential geometry and Lagrangian mechanics to fit the problem into a differentiable program, which is far from the previous approaches that train a neural network with supervised learning by simulating given dynamics. Simply speaking, we get the next state from an automatic differentiation of a Lagrangian, which is a scalar Energy-related function. We also exploit the reinforcement learning approach to control the auto-generated system in a single machine learning pipeline.
As an example, to verify the feasibility of the proposed method, the attitude dynamics of the multi-rotor UAV, which evolves on the special orthogonal group SO(3) is simulated. In addition, by designing an attitude controller with a geometric control and reinforcement learning approaches, we describe a series of processes required in dynamic modeling and control of a mechanical system.
대다수의 공학적 문제에서 운동하는 시스템을 모델링 하는 데에는, 물체를 강체로 가정하고 뉴턴 역학을 이용하여 유클리드 공간 안에서 운동경로를 예측하는 방법을 주로 사용해 왔다. 뉴턴 역학을 이용하여 운동경로를 예측하는 방법의 경우 매 순간 물체에 작용하는 힘을 지속적으로 관찰함으로써 그 인과관계에 따라 물체의 운동을 분석하게 되므로, 시스템의 동특성을 비교적 명료하게 파악할 수 있다는 장점을 가진다.
그러나 시스템의 구성이 조금만 복잡해 지더라도 물체간 작용하는 힘의 관계를 분석하는 데 어려움이 따르고, 해석해를 구하지 못하거나 오류를 범하는 경우가 빈번하게 발생한다. 항공우주 분야에서도 비행체를 하나의 강체로 놓고 시스템을 해석하게 되는데, 이러한 경우 진자와 같이 비행체 아래에 매달린 물체의 위치 제어, 복수 비행체의 협업을 통한 화물 현수 운송 시스템 구성, 비행체 위에 놓인 도립진자의 제어와 같이 다양한 형태의 응용에 있어 뉴턴역학만을 이용한 시스템의 분석은 높은 난이도를 가지게 된다.
이에 본 논문에서는 해석해를 쉽게 구하지 못하는 동적 시스템의 모델링과 제어에 있어 각종 기계학습 도구를 활용함으로써 다양한 시스템을 쉽게 시뮬레이션 하는 방법에 대해 다루고자 한다. 먼저 시스템의 모델링에 있어서는 라그랑주 역학과 자동미분 기법을 이용하여 상태방정식의 변화를 얻을 수 있도록 하였다. 모델링된 시스템을 원하는 상태로 보내는 데에는 강화학습 기법을 토대로 한 제어기를 활용하는 방안에 대하여 논하였다. 이를 통해 운동방정식을 직접 유도하여 수치해를 얻어내던 기존 방식에서 벗어나, 설계가 비교적 간단한 에너지 함수만으로 역학 관계를 유추할 수 있도록 함으로써, 복잡한 운동 방정식을 직접 유도하는 과정 없이도 시스템을 모사 할 수 있도록 하였다.
아울러 제안하는 방법의 활용 가능성을 검증하기 위한 예시로써, 쿼드로터 무인기의 자세와 관련한 운동방정식을 미분가능 프로그래밍을 통해 모사하고, 알려진 운동방정식에 따른 거동과 비교해 보았다. 또한 강화학습을 이용하여 멀티로터 무인기의 자세 제어기를 설계함으로써, 동역학 시스템의 모델링부터 제어까지의 일련의 과정을 기계학습 기법을 활용하여 해결하는 방안에 대하여 기술하였다.
