In this study, an energy efficient wing motion of a flapping wing micro aerial vehicle (FWMAV) was optimized using the water-tank experiment. Also, the hovering controller with energy-minimized wing motion was investigated using the reinforcement learning. The scaled-up wing model with 3-axis robotic manipulator analyzed the various kinds of flapping wing kinematics. The aerodynamic property of the deviating motion was intensively analyzed using the force/moments measurement and flow visualization. The result revealed that the quasi-steady (QS) model, frequently used for many optimization and control researches, could not predict forces and moments correctly in the case with deviating wing motion. The digital particle image velocimetry (DPIV) showed that deviating motion caused the delay of the trailing edge vortex (TEV) shedding and produced a vortex loop in the middle of each stroke. These are the reasons for the lift reduction in the middle of the stroke compared to the QS model. The result of deviating motion analysis implies that the QS model is not sufficient to optimize the wing motion. More complicated but accurate numerical models, such as computational fluid dynamics (CFD), need a considerable amount of calculations for the direct optimization of the flapping wing kinematics in large design space. Therefore, the water-tank experimental approach was introduced to optimize the energy-minimized flapping wing kinematics. The result showed that the deviating motion was required for an efficient hovering flight in the selected case. However, this direct experimental approach was not fast enough to optimize several cases for a more in-depth understanding of the optimal wing motion of the FWMAV. Therefore, data-driven modeling technique was applied. The surrogate model was modeled using ~100,000 sets of the experimental data from previous optimization experiments. Several validation experiments were carefully conducted in a wide range of the kinematic variables. This model accurately estimated the lift, drag, and power consumption in terms of both mean value and time series. The surrogate optimization results showed that the deviating motion is only necessary when the high lift force is required. The FWMAV, however, needs not only the proper wing kinematics but also the controller to achieve stable hovering flight. The surrogate model, which was developed by data-driven modeling technique, is a black-box model. It is difficult to apply the classical control method in this model due to the lack of knowledge of its internal workings. Deep reinforcement learning was applied to provide a general way to develop a controller for the black-box model. The optimal policy was obtained by using the proximal policy optimization algorithm. This method successfully achieved the hovering state with energy-minimizing flapping motion. This general algorithm had enough feasibility to find the energy-minimized hovering controller for the FWMAV.
날갯짓 비행체의 에너지 효율적인 날갯짓을 실험 기반의 최적화를 통해 살펴보았고, 효율적인 날갯짓을 활용한 제어 방법을 연구하였다. 날갯짓 비행체에서 발생하는 공력을 정밀하게 측정하기 위하여 스케일-업 된 수조 환경 및, 날갯짓을 정밀하게 모사할 수 있는 3축 로봇 시스템을 제작하여 실험을 수행하였다. 실험 장치를 활용한 힘/모멘트 측정 및 유동 가시화 측정을 통하여 날갯짓 비행체의 팔자 형태 날갯짓 형상에서 나타나는 유체역학적인 특성을 분석하였고, 이를 통해 기존 최적화 연구에서 자주 사용하였던 공력 모델이 팔자 형태 날갯짓에서 힘과 모멘트를 제대로 예측하지 못한다는 한계점을 파악하였다. 실험을 통하여 에너지 효율 측면에서의 날갯짓 최적화를 수행하였는데, 이를 통해 높은 양력이 필요한 경우 팔자 형태의 날갯짓 형상이 효율적인 형태라는 것을 확인할 수 있었다. 보다 다양한 조건에서의 효율적인 날갯짓을 정확하게 파악하기 위하여, 실험을 통해 다수 확보된 데이터를 활용하여 기존의 공력 모델을 보완할 수 있는 실험 기반의 서로게이트 모델을 뉴럴 네트워크를 활용하여 구성하였다. 다양한 날갯짓 형상에서 새로 구성한 서로게이트 모델의 정확도를 확인하였고, 해당 모델을 활용하여 다양한 요구 양력 조건에서 최적화 된 날갯짓이 어떤 형상을 가지고 있는지 확인하였다. 그 결과 낮은 양력 요구 조건 하에서는 단순한 일자 형태의 날갯짓이 효율적임을 확인하였으며, 최적화 평가를 수행한 모든 경우에서 정현파 형태의 스트로크와 부드러운 사각파 형태의 피치 방향 날갯짓 움직임 프로파일이 최적화 된 형상임을 확인하였다. 날갯짓 비행체의 비행을 구현하기 위해서는 최적화 된 날갯짓뿐만이 아닌 제어 논리도 필요하기 때문에, 최적화 된 날갯짓 움직임을 활용하는 제어 방법에 관한 연구를 수행하였다. 실험 기반의 데이터를 통해 구성된 서로게이트 모델이 공력을 예측하는 방식은 그 내부를 정확히 파악할 수 없는 블랙박스 구조로 이루어져 있기 때문에, 기존의 제어 기법 대신 탐색을 통해 최대의 보상을 스스로 찾아가는 강화 학습을 통해 제어 연구를 수행하였다. 강화학습 기법으로는, 딥 뉴럴 네트워크를 활용한 딥 강화학습 기법을 활용하였으며 인접 정책 최적화(Proximal policy optimization) 알고리즘을 통해 학습을 수행하였다. 그 결과 에너지 소모를 최소화 하며 제자리 비행을 수행할 시 최대한의 보상을 주는 보상 함수를 구성하여 학습을 수행한 결과 성공적으로 제자리 비행을 에너지 소모를 최소화하며 수행할 수 있었으며, 동시에 날갯짓 비행체의 트림 조건을 얻어낼 수 있음을 시뮬레이션을 통해 확인하였다.
