This thesis investigates the engineering systems consisting of multiple units subject to gradual performance degradation. This degradation eventually results in catastrophic system failure. Conventionally, system engineers try to reduce system failure by performing periodic maintenance. However, this time-periodic maintenance policy often considers states of the units only not the inter-relationship among the states of different units. Meanwhile, due to the advancement of the technologies, real-time based state identification is possible. In this thesis, we analyze the state-dependent maintenance policy considering the state of the units as well as the inter-relationship among the states of the units. The maintenance decision process is formulated with a Markov decision process (MDP) and stochastic dynamic programming (DP) is used to find optimal maintenance policies. With the insights gained from the MDP with the DP approach, a model-free methodology using reinforcement learning (RL) is proposed the validity of the model is verified.
본 학위논문에서는 점진적으로 성능이 저하되는 특성을 지닌 복수의 요소로 구성된 공학 시스템을 연구한다. 성능 저하 특성은 시간이 지남에 따라 결국 시스템에 치명적인 피해를 초래한다. 일반적으로, 이러한 피해를 줄이기 위해 주기적 유지보수 정책이 수행된다. 하지만, 시간 기반 유지보수 정책은 종종 요소 간의 상호관계를 고려하지 않고 단일 요소 만을 고려한다. 한편 기술의 발전으로 실시간 기반 상태 파악이 가능하게 되었다. 본 학위논문에서는 복수 요소 간의 상호작용을 고려한 상태 기반의 유지보수 정책을 분석한다. 유지보수 의사결정 과정은 마르코프 의사결정 과정으로 수립되며, 동적 계획법을 이용해 최적 유지보수 정책을 찾는다. 또한, 동적 계획 법으로부터 얻은 정보를 바탕으로, 강화학습을 이용한 무 모델 방법론을 제안한다.
