The single-engine manned helicopters can face the undesired engine failure during their mission operation. In this case the pilots typically perform the autorotation maneuver properly and achieve the safe landing.
For an unmanned air vehicle (UAV) helicopter, construction of the controller performing the autorotation maneuver autonomously is considered as a significant subject. It allows the user to save not only the UAV helicopter platform but the valuable sensors and data on board. However, the autorotation maneuver is a quite challenging problem that requires time-critical control inputs to accomplish a safe landing. Also, the dynamics and aerodynamics of the helicopter in autorotation are highly non-linear and complex. From these facts it is necessary to devise a controller which is able to obtain satisfactory performance in this field.
Reinforcement learning is the feasible approach that can be applied in a complicated system. It is known that the reinforcement learning technique is based on the way of animal’s thinking, learning and acting. Contrary to supervised learning, the controller can adapt itself by the suggested reward function in a natural way. After several trials, the controller can find the solution to success the safe landing via reinforcement learning.
오토로테이션 기동은 유인 헬리콥터의 엔진이 비행 중 정지하였을 때 착륙을 시도하기 위해 수행된다. 하지만 오토로테이션 기동을 성공적으로 수행하기 위해서는 많은 훈련이 필요하며 고도의 조종 기술이 뒷받침 되어야 한다. 실제 오토로테이션 운동방정식을 유도해 보면 매우 복잡하고 어려운 기동임을 알 수 있다.
무인 헬리콥터의 경우도 임무 수행 시 엔진 고장상황을 직면할 수 있으며 오토로테이션 기동을 성공적으로 수행할 경우 고가의 센서와 탑재 데이터를 보존할 수 있다. 따라서 본 논문에서는 오토로테이션 기동을 성공적으로 수행하기 위한 강화학습기반 제어 알고리듬이 제시 되었다. 강화학습은 동물의 학습 및 진화에 기반한 기법으로 시행오차를 통해 원하는 목적을 이룰 수 있는 방법을 학습하게 된다.
제안된 제어 알고리듬은 여러 차례의 학습을 통해 오토로테이션 기동을 수행할 수 있는 방법을 학습하였으며 시뮬레이션을 통해 그 성능이 확인되었다. 제자리 비행 시 엔진이 정지하면 수직방향 제어만을 통해 지상에서 강하속도를 거의 0으로 만들 수 있었으며, 전진 순항 비행 시 엔진이 정지 할 경우 로터회전면을 기울여 전진 속도를 줄여가면서 지상에서 수평 및 수직 방향의 속도를 충분하게 줄일 수 있었다.
결과적으로 본 논문에서 다룬 오토로테이션을 수행할 수 있는 제어기는 고가의 장비를 탑재한 무인 헬리콥터를 추락으로부터 보호할 수 있는 가능성을 제시 하였다고 볼 수 있다.