This paper presents a hierarchical control framework that enables agile locomotion in a quadrupedal robot on discontinuous terrain. The first part introduces a hierarchical motor control strategy that supports an importable learning-based controller. This method helps the neural network trained in the simulation environment be easily used in real robots. The second part presents a technique for training a control policy with hierarchical reinforcement learning to overcome the stepping stone environment. To this end, the controller is hierarchically composed of a low-level controller trained for jumping locomotion and a high-level controller trained for jumping commands. A fixed gap test and a variable gap test are used for verification in a simulation. As a result, the hierarchical learning controller overcame a gap of up to 0.73 m in the fixed gap test. Also, in the variable gap test, the controller achieved a gap of 0~0.33 m with a 90% success rate and a gap of 0~0.5 m with a 70% success rate.
이 논문은 불연속 지형에서 민첩한 보행이 가능한 4족 보행 로봇의 계층적 제어 프레임워크를 제시한다. 첫번째로 교체 가능한 학습 기반 제어기를 지원하는 계층적 모터 제어 전략을 소개한다. 이 방법은 시뮬레이션 환경에서 훈련한 심층신경망을 실제 로봇에서 쉽게 사용할 수 있도록 도와준다. 두번째로 징검다리 환경을 극복하기 위해 계층적 강화학습으로 제어 정책을 훈련하는 방법을 제시한다. 이를 위해, 점프 보행을 목표로 훈련한 저수준 제어기와 점프 명령의 생성을 목표로 훈련한 고수준 제어기를 계층적으로 구성한다. 검증을 위해 시뮬레이션에서 고정 간격 실험과 가변 간격 실험을 수행하였다. 실험 결과, 계층적 학습 제어기는 고정 간격 실험에서 최대 0.73 m 의 간격을 극복하였다. 또한 가변 간격 실험에서 0~0.33 m 의 간격을 90% 성공률로 달성하였고, 0~0.5 m 의 간격을 70% 성공률로 달성하였다.
