서지주요정보
Q-학습을 이용한 동적 이족 보행 패턴 생성 = Dynamic biped walking pattern generation using q-learning
서명 / 저자 Q-학습을 이용한 동적 이족 보행 패턴 생성 = Dynamic biped walking pattern generation using q-learning / 이정호.
저자명 이정호 ; Lee, Jung-Ho
발행사항 [대전 : 한국과학기술원, 2008].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8019655

소장위치/청구기호

학술문화관(문화관) 보존서고

DME 08047

SMS전송

도서상태

이용가능

대출가능

반납예정일

초록정보

This research is about generating a stable pattern of biped walking. Exiting ways of generating a pattern of biped walking are usually divided into two ways which is generating a pattern based on exquisite model and the other one is using a feedback. However, since biped walking robot is unstable and complex system and difficult to find an accurate model, it requires to be tuned by professional or expert which requires certain amounts of time and experiments. Therefore, this research shows how to fix these weakness and tuning problem by using learning. Moreover, research about stable walking by using existing learning algorithm usually decides position of stepping foot in order to achieve stable walking. However, this method will not be able to walk in certain places such as stairs or stepping stones because it cannot place the stepping foot on a desired position. In order to solve this problem, it created a walking pattern for the supporting foot instead of stepping foot. By using this method, it is possible to place a stepping foot on a desired position. Also existing studies require additional controller for the supporting foot but the method suggested by this research will not need an additional controller. Furthermore, existing studies considered movements only on a sagittal plane but this research consider coronal plane as well as sagittal plane which allows perfect three dimensional walking. Prior to adapt a learning algorithm into a real system, this research verified the algorithm by using simulator. The simulator which developed throughout the research can easily add new module because it has modular structure and easily connected with external programs since it has open system architect structure. It used ODE (Open Dynamics Engine) for physical engine. This learning algorithm was adopted into HUBO which is developed in humanoid research center in KAIST, Korea to execute stable biped walking and confirmed firmness of this algorithm for various strides throughout experiment.

본 연구는 안정적인 이족 보행 패턴 생성에 관한 연구이다. 기존의 이족 보행 패턴을 생성하는 방법은 크게 두 가지로 분류가 가능한데, 첫째는 정교한 모델에 기반한 것이고 두 번째는 되먹임 제어기를 이용하는 것이다. 하지만 이족 보행 로봇은 자체가 아주 불안정하며 복잡한 시스템이고 정확한 모델을 구하기 힘들기 때문에 전문가에 의한 조율이 요구되며 이러한 조율은 많은 시간과 실험을 요구한다. 따라서 본 연구에서는 이러한 단점을 해결하고자 학습을 이용하여 이러한 조율 문제를 해결하였다. 또한 기존의 학습을 이용한 안정적인 보행에 관한 연구는 주로 내디디는 발의 위치를 결정함으로써 안정적인 보행을 하였다. 하지만 이 방법은 원하는 곳에 내디디는 발을 위치 시킬 수 없기 때문에 계단이나 징검다리와 같은 특수한 환경에의 보행은 불가능 하다. 이 문제를 해결하기 위해서 내디디는 발이 아닌 지지하는 발에 대한 보행 패턴을 생성하였다. 이 방법을 이용하면 내디디는 발을 원하는 곳에 위치 시킬 수 있다. 또한 기존 연구들은 부가적으로 지지하는 발에 대해서 부가적인 제어기를 요구하지만 본 연구에서 제시한 방법을 이용하면 부가적인 제어기가 필요하지 않다. 또한 기존 연구들은 시상 평면에 대한 운동만을 고려하였으나 본 연구는 관상 평면의 운동까지 함께 고려함으로써 완전한 3차원 보행을 할 수 있다. 학습 알고리즘을 실제 시스템에 적용하기에 앞서 전산 모의 실험 장치를 이용하여 학습 알고리즘을 검증하였다. 본 연구를 통해 개발된 전산 모의 실험 장치는 모듈화 구조로 되어 있어서 새로운 모듈을 쉽게 추가할 수 있으며 개방형 아키텍쳐 구조를 가지고 있기 때문에 외부 프로그램과 손쉽게 연동이 가능한 장점이 있다. 물리 엔진으로는 ODE(Open Dynamics Engine)을 사용하였다. 한국의 한국과학기술원 휴머노이드 로봇 연구 센터에서 개발한 휴보에 직접 학습 알고리즘을 적용하여 안정적인 이족 보행을 수행하였고 다양한 보폭에 대해 학습 알고리즘이 견고함을 실험을 통하여 확인 하였다.

서지기타정보

서지기타정보
청구기호 {DME 08047
형태사항 x, 181 p. : 삽도 ; 26 cm
언어 한국어
일반주기 저자명의 영문표기 : Jung-Ho Lee
지도교수의 한글표기 : 오준호
지도교수의 영문표기 : Jun-Ho Oh
Appendix : A, Converge Theorem for Q-Learning. -B,Derivation of ZMP equation
학위논문 학위논문(박사) - 한국과학기술원 : 기계공학전공,
서지주기 참고문헌 : p. 157-171
주제 Reinforcement Learning;Q-Learning;Biped walking;Humanoid;
강화 학습;Q 학습;이족 보행;휴머노이드;
QR CODE qr code