In a mass-casualty incident (MCI) in which a large number of patients occur within a short time, since many casualties simultaneously require emergency medical services (EMSs), it is essential to optimize EMS resource operation management to minimize the damage to patients in the aftermath of an MCI. Therefore, this dissertation deals with the problems that the emergency medical service system should decide to provide optimal services to a large number of patients in an MCI.
The major issues that the EMS system should consider in an MCI are the issues of prioritizing the transport of patients and the selection of destination hospitals. Patients in an MCI are classified into four classes (immediate, delayed, minor, expectant) by Simple Triage and Rapid Treatment (START) triage method. Of the classified patients, immediate class patients are transported first and then the emergency group of patients are transported. Minor class patients move to hospitals by self-transport and expectant class patients are transported last.
Although there have been a number of studies on patient transport prioritization, such as suggesting that prioritizing immediate class patients prior to delayed class patients is not as effective at maximizing the number of survivors, there is little research on hospital selection. In Chapter 2, as the first decision problem, we solved the problem of determining which class of patients should be transported to which hospital for immediate class patients and delayed class patients. To solve this problem, this dissertation designed a Markov decision process (MDP) model and derived policy using reinforcement learning (RL). Experiment results using real accident data showed that making decisions by considering both decision-making problems are superior, and that selecting the appropriate hospital is as important as prioritizing patient transport. Furthermore, we proposed a heuristic algorithm that can easily and quickly determine the patient transport priority and the destination hospital in the accident site based on the hospital information. We also confirmed that the proposed algorithm had better performance than the other heuristic algorithms in literature.
MDP used in the study of Chapter 2 cannot derive the optimal solution when the state space is large. In this case, RL is used to obtain a policy of near-optimal performance. However, when the state space of a model is very large, it is confirmed that it is difficult to derive a high-performance policy from existing RL algorithms. In Section 3, we proposed a meta-algorithm for the RL algorithm to achieve good performance for very large state space problems. The proposed meta-algorithm targets finite-horizon MDP. The main ideas of the proposed meta-algorithm are three-fold. First, we reduce the size of the original problem by dividing the state space of the original problem into two subspaces based on the flow of time. Second, we derive the policy for some problems in the second subspace (the latter part) and learn the obtained policy. Finally, we use the learned policy in the simulation to help solve the problem in the first subspace. Using the Temporal Difference learning and Deep Q-Network as examples of the RL algorithm, we showed that the meta-algorithm is able to reliably derive a high-quality policy solution. Through empirical analysis, we also found that a smaller second subspace in the meta-algorithm yields higher performance. In order to further improve the performance of the proposed meta-algorithm, we developed an extended version of the meta-algorithm using the concepts of iterative and ensemble methods.
Another problem with the operation of the EMS system in an MCI is the problem caused by self-transport of minor class patients. Most patients in an MCI are minor class patients, and many of these patients go to the hospital themselves. Generally, they move to nearby hospitals or high-tier hospitals. However, if a large number of minor class patients are concentrated in nearby hospitals, there is a high likelihood of delay in treatment for serious patients requiring treatment at the hospitals. In Chapter 4, as the second decision problem, we solved the problem of assigning a hospital to minor class patients. In this case, the people who perform the decision are different from the person who makes the decision. The general optimization model assumes that people that perform the optimal decision are rational, but in reality, there are some cases where they do not follow optimal decisions depending on their mental inertia. Therefore, we proposed a new MDP modeling technique that considers the possibility that decision-performers make irrational decisions by their mental inertia without following given decisions. We derived the optimal policy from the original MDP model and the proposed model for the hospital assignment problem for minor class patients and compare them. Results showed that solving the problem by considering the behavior of the decision-performer leads to better results in reality.
This dissertation proposes new algorithms and modeling techniques for sequential decision-making models as well as addressing various problems for effective operation management of EMS resources in an MCI. This study aims to contribute to the improvement of the ability to respond to MCIs from the viewpoint of the EMS system and to the development of research related to sequential decision-making model.
다수의 환자가 발생하는 다중손상사고의 경우, 동시에 다수의 환자들에게 응급의료서비스를 제공해야하기 때문에 환자들의 피해를 최소화할 수 있도록 응급의료서비스 시스템의 자원 운용을 최적으로 관리하는 것이 필수적이다. 따라서 본 논문에서는 다중손상사고로 발생한 다수의 환자들에게 최적의 응급의료서비스를 제공하기 위해 응급의료서비스 시스템이 결정해야하는 문제들을 다룬다.
다중손상사고 시 응급의료서비스 시스템이 고려해야하는 주요한 문제들은 환자 이송 우선순위를 결정하는 문제와 이송 병원을 선정하는 문제이다. 다중손상사고에서 발생한 다수의 환자들은 Simple Triage And Rapid Treatment (START) 선별법에 의해 총 4가지 등급 (긴급, 응급, 비응급, 사망)으로 분류된다. 분류된 환자들 중 긴급 등급의 환자들이 가장 먼저 이송되고 다음으로 응급 등급의 환자들이 이송된다. 비응급 등급들은 자가 이송을 통해 병원으로 이동하며 사망 등급은 가장 마지막에 이송된다.
관련 연구들을 보면 긴급 등급의 환자들을 응급 등급의 환자들보다 우선하여 이송하는 방식이 환자들의 피해를 최소화하는 방법으로 효과적이지 못하다는 주장을 제기하는 등 환자 이송 우선순위에 관한 연구들은 다수 진행되었지만 병원 선정에 대한 연구는 적은 편이다. 이에 2장에서는, 첫번째 의사결정 문제로, 긴급과 응급 등급 환자들을 대상으로 어떤 등급의 환자를 어느 병원으로 이송할 것인지를 결정하는 문제를 해결했다. 본 논문은 이 문제를 해결하기 위해 마코프 의사결정 과정 모델을 설계하고 강화학습을 이용하여 정책을 도출했다. 실제 사고 데이터를 활용한 실험을 통해 두 의사결정 문제를 같이 고려하여 의사결정을 내리는 것의 우수성을 보였으며 올바른 병원 선정이 환자 이송 우선순위 결정만큼이나 중요하다는 것을 보였다. 더 나아가, 병원 정보 기반으로 하여 실제 현장에서 쉽고 빠르게 환자 이송 우선순위와 이송 병원을 결정할 수 있는 휴리스틱 알고리즘을 제안하였다. 제안하는 휴릭스틱 알고리즘 역시 기존의 문헌들에서 제안하는 휴리스틱 알고리즘들보다 우수한 성능을 보였다.
한편, 2장의 연구에서 사용한 마코프 의사결정 과정 모델은 상태 공간이 넓은 경우에 최적 해를 도출할 수 없다. 이 경우, 최적에 가까운 성능의 정책을 얻기 위해서 강화학습이 사용되는데, 모델의 상태 공간이 매우 넓은 경우에는 기존의 강화학습 알고리즘들 역시 좋은 성능의 정책을 도출하는 것이 어렵다. 이에 3장에서는 상태 공간이 매우 넓은 문제에 대해서도 좋은 성능을 낼 수 있도록 강화학습 알고리즘을 위한 메타 알고리즘을 제안하였다. 제안하는 메타 알고리즘은 finite-horizon MDP를 대상으로 한다. 제안하는 메타 알고리즘은 원 문제의 상태 공간을 시간의 흐름을 기준으로 2 분할하여 원 문제의 크기를 줄이고, 시간의 흐름 상 후반부의 일부 문제에 대해 우선적으로 정책을 도출한 다음 얻어진 정책을 학습한다. 마지막으로 학습한 정책을 시뮬레이션에 사용하여 전반부의 문제를 푸는데 도움을 준다. RL 알고리즘의 예로 Temporal Difference learning과 Deep Q-Network를 사용하여 제안하는 메타 알고리즘이 고품질의 정책 솔루션을 안정적으로 얻을 수 있음을 확인하였고 실험적 분석을 통해 후반부의 상태 공간이 더 작도록 상태 공간을 분할할 때 더 높은 성능을 제공함을 발견했다. 추가적으로 제안하는 메타 알고리즘의 성능을 더 개선시키기 위해 반복법과 앙상블 방법의 개념을 사용한 확장된 버전의 메타 알고리즘을 개발하였다.
다중손상사고 시 응급의료서비스 시스템 운용의 또 다른 문제로 비응급 등급 환자들의 자가 이송에 의한 문제가 있다. 다중손상사고로 인한 환자들의 대부분은 비응급 등급 환자들이며 이 다수의 환자들은 스스로 병원으로 이동한다. 일반적으로 그들은 사고 현장으로부터 가까우며 높은 등급의 의료기관으로 이동한다. 그러나 다수의 비응급 등급 환자들이 가까운 병원들에 집중되면 실제 그 병원들에서 치료받아야 하는 중증 환자들의 치료가 지연될 가능성이 높다. 이에 4장에서는, 두번째 의사결정 문제로, 병원들 간의 혼잡도 차이를 줄이기 위해 비 응급 등급 환자들에게 병원을 지정해주는 문제를 해결한다. 이 문제의 경우, 의사결정을 내리는 사람과 의사결정을 수행하는 사람이 다르다는 특징을 가진다. 일반적인 최적화 모델은 최적 의사결정을 수행하는 개체가 합리적 임을 가정하지만 현실에서는 의사결정 수행자의 선호도에 따라 합리적인 결정을 따르지 않는 경우가 존재한다. 따라서 본 장에서는 의사결정 수행자가 주어진 의사결정을 따르지 않고 자신의 정신적 관성에 의해 비합리적인 의사결정을 수행할 가능성을 고려한 새로운 형태의 마코프 의사결정 과정 모델링 기법을 제안한다. 비응급 등급 환자들을 위한 병원 할당 문제에 대해 기존의 마코프 의사결정 과정 모델과 제안하는 모델로부터 최적 의사결정 방침을 도출하고 이를 비교함으로써 의사결정 수행자의 행동양식을 고려하여 문제를 해결하는 것이 현실에서 더 좋은 결과를 야기함을 보였다.
이와 같이, 본 논문은 다중손상사고 시 응급의료서비스 자원의 효과적인 운용 관리를 위한 여러가지의 문제를 다룰 뿐만 아니라 순차적 의사결정 모델에 대한 새로운 알고리즘과 모델링 방법을 제안한다. 이를 통해 다중손상사고에 대한 응급의료서비스 시스템 관점에서의 대응능력 향상과 순차적 의사결정 모델 연구의 발전에 기여하고자 한다.
