In this thesis, reinforcement learning controller for a robotic cat problem is introduced. When a cat is dropped in an upside down posture, it can rotate its body to land on its feet. Basically, this research is inspired from the posture control ability of cats. Robot`s posture control ability in the air is required when designing advanced robots that can run, jump and land, which can perform tasks in workplaces where ordinary robots cannot go. Also, when space robots operate in the space, it is hard for them to rotate the desired direction because there is no external forces. if the space robot has cat`s rotating ability, it can easily rotate its orientation using internal motion. In addition, the principle of a falling cat can be used in dextrous manipulation by multi-fingered robotic hands and path planning for mobile robots subject to nonholonomic constraints.
In the previous research, they considered only the simple shape of robot, which consists of only two symmetric rigid bodies that enables easy dynamics calculation due to cancelations of many terms in the equation. Although their approaches provide accurate controller, it works only for a specific initial condition. However with proposed method, once algorithm is designed it can be applied to any kind of robot structures. Actually the complex asymmetric robot structure is used throughout the research. In addition, the learned controller can find solution with a random initial condition.
The controller is based on gradient decent Sarsa($\lambda$), and Selective Experience Replay (SER) is added to it. By adding SER, the algorithm converges faster than the plain Sarsa($\lambda$).
For simulation, the robotic cat simulator is developed, and all of these works are verified through the simulator.
본 논문은 강화학습을 이용해서 고양이 착지자세를 제어하는 방법을 제안하고 있다. 고양이를 뒤집어진 상태로 떨어뜨리면 고양이는 공중에서 몸을 돌려서 발로 착지할 수 있게 한다. 이 연구는 이러한 고양이의 움직임에 영감을 얻어서 시작되었다. 공중에 있는 로봇의 자세제어는 달리거나 뛰는 로봇의 자세 제어에 응용될 수 있으며, 외력이 없이 로봇의 움직임 자체로 방향을 바꿔야 하는 우주로봇의 제어에도 쓰일 수 있다. 게다가 낙하하는 고양이의 기본원리는 다관절 로봇 손의 제어에도 사용될 수 있고 비(非)홀로노믹 제약이 있는 모바일 로봇의 경로계획에도 사용될 수 있다.
기존의 고양이 로봇 연구에서는 좌우 대칭인 간단한 두 강체를 사용해서 수식을 간단하게 만들어서 제어를 해왔다. 이러한 방법들은 주어진 조건에서 정확하고 빠르게 제어가 되는 반면에 로봇 구조가 복잡해지면 제어기 설계가 어려워지고 설계된 제어기는 고정된 초기값에서만 사용해야되는 단점이 있다. 본 논문에서 제안 된 방법은 복잡한 로봇 구조에도 같은 알고리즘으로 학습이 가능하고 한번 학습된 알고리즘으로 임의의 초기값에 상관없이 제어가 가능하다.
제어기는 기존의 Sarsa($\lambda$)에 에이전트가 경험한 재연 정보 선택적으로 저장하고 이용하는 방법을 추가해서 설계했다. 이 기능을 추가함으로써 수렴속도를 빠르게 하는데 성공했다.
시물레이션을 위해서 고양이 로봇 시물레이터를 제작했고, 본 논문의 모든 내용은 이 시물레이터를 통해서 검증했다.
