To exploit dynamic properties of a legged robot, it requires robust control method which enables to traverse in complicated environments. This paper presents a control framework which learns gait planning by Reinforcement Learning(RL) using Model Predictive Control(MPC) and Central Pattern Generator. A neural network trained by RL operates as a high-level controller to decide where and when to put feet on the ground. Given the constraints of the footstep and model dynamics, MPC computes optimal ground reaction forces to follow reference trajectory. The combined framework can perform dynamic tasks by learning gait planning, while utilizing practical and robust properties of MPC. The proposed method verified its practicality by performing push recovery and robust locomotion tasks on both simulation and real hardware.
보행 로봇의 역동적인 특성을 최대한으로 활용하기 위해서는 복잡한 환경에서도 주행 가능한 강건한 제어기를 필요로 한다. 이를 달성하기 위해 이번 연구에서는 모델 예측 제어기와 중앙 패턴 생성기를 활용해 사족형 로봇의 보행 계획을 학습하는 제어 방식을 제시한다. 상위 제어기로 작동하는 강화학습을 통해 학습된 신경망이 로봇의 발디딤 위치와 걸음 순서를 결정하고, 이를 통해 결정된 지면 반력의 작용점을 바탕으로 모델 예측 제어기가 주어진 목표 궤도를 따라가기 위한 최적의 힘을 구한다. 결합된 제어 방식은 모델 예측 제어기의 실용적이고 강건한 특성을 활용하면서도 발디딤 위치와 걸음 순서를 강화학습을 통해 결정함으로써 역동적인 동작 수행을 가능하게 한다. 제시된 제어 방식은 시뮬레이션과 실제 하드웨어에서 충격으로부터의 회복과 역동적으로 주행하는 실험을 통해 실효성을 입증했다.
