This study developed a deep learning-based object identification (OI) model and control (PPO-based AFC) system to improve the navigation system function of autonomous underwater vehicles (AUV). A two-dimensional numerical simulation simplifying AUV and the underwater environment was used to develop a deep learning-based OI model and PPO-based AFC system suitable for AUV with various underwater motions. During the simulation, sensors arranged side by side on NAC Afoil, which simplified AUV, moved in a flow field with foil to create a time series data set, and performed deep learning using this data set containing information on the flow field.
Research on the development of OI models was conducted with the inspiration of the function of lateral lines that enable hydrasonic imaging through the surrounding flow information of various aquatic animals, and this OI model was intended to contribute to the performance improvement of AUV's vision system. We trained a deep-learning neural network to develop an OI model that predicts the location of foils and objects based on two types of sensory data, such as velocity and pressure obtained through the sensor array located on the foil surface. The predictive performance of the OI model derived using the LSTM algorithm showed better predictive performance than that of the OI model derived through other neural networks (ANN, DNN).
The PPO-based AFC system was studied with the inspiration of the optimal propulsion seen in the flight and swimming of birds and aquatic animals, and this PPO-based AFC system was used to improve the propulsion efficiency of AUV. To this end, we placed a flow actuator on the foil surface and trained an agent that controls the jet sprayed from the actuator using the PPO algorithm. The PPO neural network was improved to control several actuators individually delicately, and the PPO-based AFC system derived through reinforcement learning improved the propulsion efficiency of the foil.
In addition, to increase the practicality of the OI model and PPO-based AFC system, a sensor importance test study was conducted to reduce the number of sensors applied to the foil. Through the sensor importance test, it was possible to derive the minimum number of sensors capable of hydraulic imaging by removing sensors with high redundancy and selecting critical sensors. The sensor importance test used feature selection methods like LASSO, Elastic Net, and RSR. By removing duplicate sensors, the OI model could predict the exact location of the foil and the object, and the PPO-based AFC system was also able to maintain the same high propulsion efficiency as before. Through this study, the practicality of the OI model and PPO-based AFC system could be increased, and the foundation for developing underwater navigation technology for sensor-based AUVs could be laid.
본 연구는 자율 수중 운송체(autonomous underwater vehicles, AUV)의 항법 시스템 기능 향상을 위해 딥러닝 기반 유동 센싱(object identification, OI) 모델 및 제어(proximal policy optimization based active flow control, PPO-based AFC) 시스템을 개발하였다. 수중에서 다양한 모션을 갖는 AUV에 적합한 딥러닝 기반 OI 모델 및 PPO 기반 AFC 시스템 개발을 위해 AUV와 수중환경을 단순화한 2차원 수치 시뮬레이션을 활용하였다. 시뮬레이션 동안, AUV를 단순화한 NACAfoil에 나란히 배열된 센서는 포일과 함께 유동장에서 이동하며 시계열 데이터 세트를 생성하며, 이 유동장 정보를 담은 데이터 세트를 활용하여 딥러닝 학습을 수행하였다.
OI 모델 개발 연구는 다양한 수생동물의 주변 유동 정보를 통한 hydraulic imaging이 가능한 측선의 기능에 영감을 받아 수행되었고, 이 OI 모델을 활용하여 AUV의 vision 시스템의 성능 향상에 기여하고자 하였다. 우리는 포일 표면에 위치한 센서 배열을 통해 얻은 속도 및 압력과 같은 두 가지 종류의 감각 데이터를 기반으로 포일과 물체의 위치를 예측하는 OI 모델 개발을 위해 딥러닝 신경망을 훈련시켰다. LSTM 알고리즘을 활용하여 도출된 OI 모델의 예측 성능은 다른 신경망(ANN, DNN)을 통해 도출된 OI 모델보다 더 뛰어난 예측 성능을 보였다.
PPO 기반 AFC 시스템 연구는 새와 수생동물의 비행과 수영에서 보이는 최적 추진에 영감을 받아 수행되었고, 이 PPO 기반 AFC 시스템을 활용하여 AUV의 추진 효율을 향상시키고자 하였다. 이를 위해 우리는 포일 포면에 유동 액츄에이터를 배치하였고, PPO 알고리즘을 활용하여 액츄에이터에서 분사되는 jet을 제어하는 agent를 훈련시켰다. 다수의 액츄에이터를 개별적으로 섬세하게 제어하기 위해 PPO 신경망을 개선하였고, 강화학습을 통해 도출된 PPO 기반 AFC 시스템은 포일의 추진 효율을 향상시켰다.
추가적으로 OI 모델과 PPO 기반 AFC 시스템의 실용 가능성을 높이기 위해 포일에 적용된 센서의 개수를 줄이고자 센서 중요도 테스트 연구를 수행하였다. 센서 중요도 테스트를 통해 중복성이 높은 센서는 제거하고 중요도가 높은 센서를 선택함으로써 hydraulic imaging이 가능한 최소한의 센서 개수를 도출할 수 있었다. 센서 중요도 테스트는 LASSO, Elastic Net, 그리고 RSR과 같은 특징 선택 기법(feature selection method)을 활용하여 수행되었다. 중복된 센서를 제거함으로써 적은 수의 센서로도 OI 모델은 포일과 물체의 정확한 위치를 예측할 수 있었고, PPO 기반 AFC 시스템도 기존과 같은 높은 추진 효율을 유지할 수 있었다. 본 연구를 통해 OI 모델과 PPO 기반 AFC 시스템의 실용 가능성을 높일 수 있었고, 센서 기반 AUV를 위한 수중 항법 기술 개발의 기반을 마련할 수 있었다.
