This study proposes heat integration and deep reinforcement learning-based energy management methodologies for efficient operation of a hybrid ship propulsion system (HSPS) utilizing liquid hydrogen (LH$_2$) as fuel and analyzes their effectiveness. The targeted LH$_2$-HSPS consists of a fuel gas supply system (FGSS), polymer electrolyte membrane fuel cell (PEMFC), and lithium-ion battery system. A 2 MW-class platform supply vessel (PSV), exhibiting significant load fluctuations during operation, is selected as the target ship for application of the LH$_2$-HSPS. Specifications of the LH$_2$-HSPS are determined based on operation scenarios of the PSV, and the dynamic model is developed accordingly. Validity of the developed model is confirmed during the validation phase, and using the validated model, design and operational feasibility of the LH$_2$-HSPS are further assessed for various operational strategies. Subsequently, to enhance the energy efficiency of the LH$_2$-HSPS, a proposal is made to integrate an ethylene glycol/water mixture-based thermal management system of the LH$_2$ FGSS and battery system. The dynamic model is then utilized to quantitatively analyze effects of heat integration. Additionally, the proposed methodology's validity is confirmed by investigating temperature changes in the battery system due to heat integration. Finally, a deep reinforcement learning (DRL)-based optimal energy management algorithm applicable to the energy management system (EMS) of the LH$_2$-HSPS is suggested. An objective function of the energy management problem considers hydrogen and equivalent fuel consumption, and performance degradation of PEMFC and lithium-ion battery system. The DRL-EMS is compared with dynamic programming and sequential quadratic programming algorithm to evaluate the global and real-time optimization performance. Furthermore, the optimal energy management performance of the DRL-EMS is assessed for operational scenarios not used in agent training. An analysis of operational strategies is conducted based on the energy management results, considering various hydrogen fuel prices and capacities of the lithium-ion battery system.
본 연구는 액체수소를 연료로 사용하는 하이브리드 선박 추진 시스템의 효율적인 운용을 위한 열 통합 및 심층 강화학습 기반 에너지 관리 방법론을 제안하며, 그 효과를 분석한다. 대상으로 하는 액체수소 하이브리드 선박 추진 시스템은 연료공급시스템, 고분자 전해질막 연료전지 및 리튬이온 배터리 시스템으로 구성된다. 액체수소 하이브리드 선박 추진 시스템의 적용을 위한 대상선박으로는 작업 중 부하 변동이 심각하게 나타나는 해양작업지원선으로 설정하며, 해당 선박의 부하 시나리오를 바탕으로 액체수소 하이브리드 선박 추진 시스템의 사양을 결정하여 동적 모델을 개발한다. 개발된 모델의 타당성은 모델 검증 단계에서 확인되며, 검증된 동적 모델을 바탕으로 다양한 운전 전략에 대한 시스템의 설계 및 운전 타당성을 추가적으로 확인한다. 이후, 액체수소 하이브리드 선박 추진 시스템의 에너지 효율 상승을 위해 연료공급시스템과 리튬이온 배터리 시스템에 각각 설치되는 에틸렌 글리콜/물 혼합물 기반 열관리 시스템을 통합하는 방안을 제안하며, 앞서 개발된 대상 시스템의 동적 모델을 바탕으로 열 통합의 효과를 정량적으로 분석한다. 추가적으로 열 통합에 따른 리튬이온 배터리 시스템의 온도 변화를 조사하여 제안하는 방법론의 타당성을 확인한다. 마지막으로, 액체수소 하이브리드 선박 추진 시스템의 에너지 관리 시스템에 적용할 수 있는 심층 강화학습 기반 최적 에너지 관리 알고리즘을 제안한다. 최적 에너지 관리 문제의 목적함수로써 수소 연료 소모량, 등가 연료 소모량, 그리고 고분자 전해질막 연료전지 및 리튬이온 배터리 시스템의 성능저하가 포함된 대상 시스템의 운용비용을 고려하며, 동적 프로그래밍 및 순차적 이차 프로그래밍 알고리즘과 전역 및 실시간 최적화 성능을 비교한다. 또한, 심층 강화학습 에이전트의 훈련에 사용되지 않은 운용 시나리오에 대해 최적 에너지 관리 성능을 추가적으로 검토하며, 개발된 심층 강화학습 기반 에너지 관리 알고리즘의 최적 에너지 관리 결과와 다양한 수소 연료 가격 및 리튬이온 배터리 시스템의 에너지 용량에 대한 민감도 분석 결과를 바탕으로 대상 시스템의 운용 전략을 분석한다.
