System of systems (SoS) is a collection of systems that integrates a number of independent self-contained systems to accomplish their SoS-level goals, which cannot be accomplished by a single constituent system. Because SoS involves multiple and complex interactions among constituent systems for accomplishing SoS-level goals, an effective goal-oriented testing approach for distinguishing SoS interactions is necessary. However, previous research on goal-oriented testing requires manual processes, and does not focus on the sequence of system interactions. Therefore, this paper presents an effective goal-oriented testing approach for SoS, based on message interactions among constituent systems. Our approach uses SoS message interaction trace as a test input and expected message interaction trace as an expected output. To generate the expected trace, we proposed a goal-oriented test oracle model along with the XML-based oracle generator to demonstrate our generation process systematically. To allow testers to determine the effectiveness and efficiency, we proposed three-level comparison criteria to compare the simulation trace to the expected trace differently. To support our approach, we also developed a simulation-based testing tool along with the goal-oriented test oracle generator that produces the expected trace.
In the evaluation, we demonstrated the effectiveness and efficiency of using the supporting tool we developed, and we concluded that our approach is more effective and saves more time than manually testing goals and effectively distinguishes the SoS interaction faults. In addition, we demonstrated that the proposed three-level comparison criteria shows the difference in effectiveness and time efficiency, so we concluded that testers need to choose between the testing effectiveness and testing time as a tradeoff. As a case study, we applied a Mass Casualty Incident (MCI) management and response plan to demonstrate our approach.
시스템 오브 시스템즈 (SoS) 는 다수의 독립적인 시스템이 모여 기존 구성 시스템이 이룰 수 없는 공동의 목표를 달성하는 시스템의 집합이다. SoS가 목표 달성을 위해 다수의 복잡한 메시지를 주고 받기에, 이러한 SoS에 맞게 목표 달성 여부를 판별할 수 있는 테스팅 기법이 필요하다. 하지만, 기존 연구에서의 목표 지향 테스팅 기법은 수작업을 필요로 하거나, 시스템의 메시지 상호 작용에 중점을 두지 않았다. 따라서, 본 연구에서는 SoS의 구성 시스템들 간의 메시지 상호 작용을 기반으로 SoS의 목표 달성 여부를 판별하는 기법을 제안한다. 본 연구에서 제안하는 기법은 구성 시스템 간의 메시지 기록을 테스트의 입력으로 사용하며, 예상 메시지 출력 기록을 테스트 오라클로 사용한다. 제안한 기법을 뒷받침하기 위해, 시뮬레이션 기반 테스팅 엔진을 개발하였다.
제안한 기법을 실험을 통해 효과성과 효율성을 입증하였으며, 결론적으로 수작업보다 본 연구에서 제안한 기법이 더 효과적이고 시간을 절약할 수 있음을 알 수 있었고, 다른 목표 지향 테스팅 기법보다 메시지 상호작용에 대한 오류를 더 효과적으로 판별할 수 있음을 알 수 있었다. 마지막으로, 본 연구의 기법을 설명하고 입증하기 위해, 다중 손상 사고 (MCI) 관리 및 대응 시스템을 사례 연구로 적용하였다.
