Recently, there has been model-based control as a method widely used to control legged robots. Model-based control controls the legged robot through a dynamic equation including each element's mass and inertia. In particular, a method attracting attention among model-based control is a model predictive control method. The model predictive control method obtains a control input through optimization by predicting the movement of a model for a horizon so that a specified cost function is minimized. Since the model predictive control method has to solve the optimization problem for each control cycle, the more complex the problem to be, the faster the control cycle cannot be. Therefore, recently, efforts have been made to replace model predictive control with neural networks through imitation learning. This paper proposes a more sample-efficient and performance-friendly method by combining two existing imitation learning methods. Next, reinforcement learning starts with neural networks that replace the model predictive controller of legged robots, learn with small samples, and suggest ways to increase the control cycle.
최근 보행 로봇의 제어에 많이 사용되는 방법으로 모델기반제어가 있다. 모델기반제어의 경우 보행 로봇의 각 요소의 질량과 관성모멘트가 포함된 동역학 식을 통하여 제어하는 방법이다. 특히 모델기반 제어 중에서도 주목받고 있는 방법이 모델예측제어 방법이다. 모델예측제어 방법은 지정한 비용함수가 최소화되도록 일정 구간 동안의 모델의 움직임을 예측하여 최적화를 통해 제어입력을 구하는 방법이다. 모델예측제어 방법의 경우 제어주기마다 최적화 문제를 풀어야 하므로 풀고자 하는 문제가 어려울수록 제어주기를 빠르게 할 수 없다. 따라서 최근 모방학습을 통해 모델예측제어를 신경망으로 대체하고자 하는 노력이 이루어졌다. 본 논문은 기존에 사용되는 모방학습 방법 중 2가지를 결합해 더욱 표본 효율적이고 성능이 좋은 방법을 제시한다. 다음으로 이를 통해 보행 로봇의 모델예측제어기를 대체하는 신경망으로부터 강화학습을 시작해 적은 표본으로도 학습하며 제어주기를 높일 방법을 제시한다.
