Research on biped humanoid robots is currently one of the most exciting topics in the field of robotics and among those issues, how to recover from the external push is typical one of the problems related to the robot stability. Different from the walking or other initiative motions, in push recovering, the humanoid has diffculties in taking actions in a short period when the unknown push occurs. Because of the complexity, in order to give a reference control to recover the robots from the push the more robust learning methods are needed. Moreover while imitating the human and animals, robots are preferred to learn the method in endless trials. Therefore the reinforcement learning (RL) is considered.
In this thesis, a model for the push recovery is proposed as a reference trajectory. On the other hand, one of the reinforcement learning methods which is used in the continuous state and action space is introduced and applied to the push recovery with unknown push. Also, based on this RL method a with-model RL and a modified RL are proposed to realize the application of RL on the robot control.
The results of the simulations are given to indicate the performance and are compared with each other to show the advantages of each method.
두 발을 가진 휴머노이드(인간형 로봇)에 대한 연구는 최근 들어 로보틱스 분야에서 가장 흥미로운 화제가 되고 있는데, 그 중에서도 외부에서 미는 힘에 대해 균형을 되찾는 것은 로봇의 안정성에 연관된 전형적인 문제 중 하나이다. 로봇 보행 또는 다른 능동적인 동작과는 다르게 미는 힘에 대한 균형 유지는 임의로 휴머노이드를 밀었을 때 짧은 시간 동안 동작을 취하는 데에 어려움을 갖고 있다. 구조의 복잡성으로 인해, 로봇이 외부의 미는 힘에 대해 스스로의 균형을 유지할 수 있도록 참고적인 제어를 주기 위해선 더 강인한 학습이 필요하다. 게다가, 사람과 동물이 학습하는 방법을 모방하기 하여 로봇이 스스로를 제어하는 방법을 배우기 위한 끝임없는 시도가 요구된다. 따라서 강화된 학습(RL, reinforcement learning)이 고려된다.
이 논문에서는 미는 힘에 대한 복원 모델이 참고 궤적으로 제시된다. 다른 한편으로는 연속적인 상태와 운동 공간에서 이용되는 강화된 학습 방법 중 하나가 소개되고 임의의 미는 힘에 대한 복원에 적용된다. 또한 RL 방법에 근거하여 로봇 제어에서 RL의 응용하기 위해 모델을 사용한 RL과 수정된 RL 방법이 제시된다.
시뮬레이션의 결과는 제안된 방법의 성능을 보이고 각각의 방법과의 장점을 비교하고 있다.
