Simulation-based experiments are important tools to resolve problems too difficult to solve in modern engineering. The simulation-based experiment provides insights into all aspects of system development and acquisition, and in several ways that were not previously possible. Finding a solution using simulation-based experiments requires answering "what if" questions involving thousands or millions of different scenarios with multiple replicated trials. As a result, such simulation experiments are extremely time consuming, and many studies have attempted faster data collection methods to mitigate this.
In this dissertation, we propose a Single Simulation Multiple Scenario (SSMS) architecture and its instantiation, the Distributed Experimental Frame for Simulation (DEXSim). By taking a performance-centered approach, the proposed technique makes the best use of distributed hardware resources for faster data collection in a simulation domain. Accordingly, the primary contribution of this work is to describe how the simulation-based experiment environment conducts experiments using a stochastic simulator, which improves scalability and utilizes distributed hardware resources efficiently. The SSMS describes an experiment environment with multiple processing elements that perform the same simulation on multiple scenarios simultaneously. In SSMS architecture, each simulation is independent of other simulations, so that the experimental environment for SSMS can exploit almost a full data level parallelism to collecting experiment results.
In order to maximize data level parallelism, we propose a two step simulation task management scheme that utilizes a static task allocation scheme at the initial phase and a dynamic task allocation during the experiment phase. Since the replicated trials of the simulation task represent the scenario setting with different random seeds, we assume that the execution times of the replicated trials are similar. Therefore, we estimate the execution time of group of simulation tasks, which are replicated, based on the simulation result of a given simulation task. We then schedule the simulation tasks based on the estimated time. In order to formulate the task management scheme, we have defined a simulation task graph, an experiment system graph, and a simulation task mapping function between the simulation task graph and the experiment system graph.
The DEXSim is an implementation of experimental environment for SSMS, and it consists of Federate DEXSim and Federation DEXSim. The Federation DEXSim controls the overall simulation execution environment whereas the Federate DEXSim manages the single machine. Thus, performance enhancement can be easily achieved by adding additional resources to the server pool and managing them using Federate DEXSim and Federation DEXSim. Moreover, the DEXSim handles the deadlock situations, such as when unreliable simulators occupy entire processing units. In order to resolve this issue, the Federation DEXSim monitors the simulation results from Federate DEXSim continuously and controls the status of the simulation instance by sending a termination message, which is defined in the proposed protocol. From the perspective of experiment execution, the Federation DEXSim manages two types of files: executable simulators and scenario files. During the experiment, the Federation DEXSim properly assigns partial simulation tasks i.e., fragmentary scenario sets to multiple Federate DEXSim and collects simulation results. When the Federate DEXSim receives the simulation task graph, it repartitions the simulation tasks to the processors of the machine, and it guarantees that the simulation process will be executed with mutual exclusivity at the processors.
Finally, we perform experiments using the DEXSim, which adopts the aforementioned architecture and management scheme to show that the proposed environment conducts an experiment efficiently. The experimental results show that simulation performance increases proportionally with the number of hardware resources. We expect that this dissertation will provide an efficient experiment environment for stochastic simulations by managing distributed resources.
시뮬레이션 기반 실험은 현대 공학 분야에서 난제를 해결하기 위한 중요한 도구로 사용되고 있으며 시뮬레이션 기반의 실험을 통해 현존할 수 없는 시스템의 개발 및 획득 등에서 새로운 통찰을 제공할 수 있다. 이러한 시뮬레이션 기반 실험의 해를 구하기 위해서는 "what if" 질문에 답할 수 있어야 하며 이를 위해서는 각기 다른 수천, 수만의 발생 가능한 시나리오에 대하여 반복적인 실험을 수행해야 한다. 이에 따라 시뮬레이션 기반의 실험은 극도로 시간이 많이 소요되며 다양한 연구에서 시뮬레이션의 결과를 빠르게 수집하기 위한 연구들이 제시된 바 있다.
본 논문에서는 단일 시뮬레이션 다중 시나리오 아키텍처(Single Simulation Multiple Scenario : SSMS)를 제안하며 이를 구현한 확률 기반 시뮬레이션을 위한 분산 실험틀(Distributed Experimental Frame for Stochastic Simulation : DEXSim)을 제시한다. 이는 시뮬레이션 분야에서 분산된 자원을 활용하여 실험 결과를 효율적으로 획득하기 위한 방안으로 주 성과는 시뮬레이션 기반 실험 환경에서 확률 기반 시뮬레이터를 활용하여 실험을 관리하면서 실험 환경의 확장성과 분산된 자원을 효율적으로 사용하는 방법에 관한 것이다. 분산된 자원을 효율적으로 사용하기 위하여 SSMS 아키텍처는 분산된 계산 자원에서 동일한 시뮬레이터에 각기 다른 시나리오를 동시에 수행하는 실험틀에 대한 개념을 제공한다. SSMS 아키텍처에서는 각 시뮬레이션이 독립적으로 분산되어 수행되기 때문에 SSMS를 기반으로 한 실험 환경에서는 실험을 수행하면서 데이터 수준의 병렬성을 최대한 끌어낼 수 있다.
또한, 본 연구에서는 시뮬레이션 테스크(Simulation Task)을 정적 할당 및 동적 할당으로 2단계에 걸쳐 시뮬레이션 실험을 관리하는 방법을 제시한다. 이는 초기 단계에서 시뮬레이터와 시나리오를 정적으로 분산된 자원에 할당하며 실험을 수행하는 동안에는 시뮬레이션의 수행 결과를 바탕으로 동적으로 분산된 자원에 할당한다. 특별히 확률 기반의 시뮬레이션에서는 난수 발생기를 사용하기 때문에 랜덤 시드(Random Seed)를 변경하며 동일한 실험 시나리오에 대하여 실험을 진행하기 때문에 반복 시행되는 시뮬레이션은 실행시간을 유사할 것이라고 가정하여 시뮬레이터의 수행을 관리한다. 따라서, 실험을 진행하는 동안 발생한 실험 결과를 바탕으로 시뮬레이션 테스크의 집합의 실행시간을 예측하여 예측된 값으로 시나리오와 계산 자원의 최적 조합을 찾아 이를 적용한다. 이를 위하여 시뮬레이션 테스크 그래프와 실험 시스템 그래프, 두 그래프에 대하여 시뮬레이션 테스크 사상함수를 정의하여 문제를 정의한다.
DEXSim은 SSMS 아키텍처 개념을 구현화 것으로 Federation DEXSim과 Federate DEXSim으로 구성된다. Federation DEXSim은 분산된 계산 자원에 대하여 전체 시뮬레이션의 수행을 Federate DEXSim을 제어하여 관리하는 반면, Federate DEXSim은 개별 계산 자원 내에서 시뮬레이션 실행을 관리한다. 따라서 추가 계산 자원을 서버 풀에 추가하고 Federate DEXSim으로 이를 관리함으로써 손쉽게 실험틀에 대한 성능향상을 가져올 수 있다. 또한, DEXSim에서는 Federation DEXSim이 Federate DEXSim에 정보를 계속적으로 보고 받음으로써 비정상적인 시뮬레이터가 계산 자원을 계속적으로 점유하게 되는 것과 같은 예외상황의 관리를 위한 프로토콜을 제안한다. 실험 수행 관점에서 본다면 Federation DEXSim은 실행가능한 형태의 시뮬레이터와 시나리오 파일을 관리한다. 실험이 수행되는 중에는 Federateion DEXSim은 전체 시뮬레이션 테스크 중 일부를 다수의 Federate DEXSim에 할당하고 Federate DEXSim은 이를 개별 계산 자원 내에서 각 시뮬레이션 프로세스가 상호배타적으로 프로세서에서 실행될 수 있도록 시뮬레이션 프로세스를 관리한다.
마지막으로 본 논문에서는 앞서 제안한 관리 방법과 아키텍처를 바탕으로 시뮬레이션 결과를 효율적으로 수집하기 위한 실험 환경을 활용한 실험 결과를 제안한다. 실험 결과를 통해서 분산 실험 환경을 통한 실험 수행이 계산 자원이 증가함에 따라 선형적으로 실험틀의 성능이 증가하는 것을 확인할 수 있다. 본 연구를 통하여 시뮬레이션 분야에서 확률 기반의 시뮬레이션을 위한 효율적인 실험 환경을 제안함으로써 시뮬레이션 기반 실험을 수행하는데 있어서 분산된 계산 자원을 관리하고 활용하여 확장 가능한 실험을 가능하게 한다.
