A System of Systems(SoS) is a set of constituent systems(CS) that have managerial and operational independence.CSs collaborates and follows the order of SoS for solving the problems which cannot be solved with a system, based on the SoS policies.SoS policy is the description which specifies SoS operation to respond environmental changes. Even though SoS is implemented without a fault, SoS can not guarantee the achievement of the goal because SoS runs on non-deterministic environment.It means that SoS may result in different results with same test data.With this reason, it is needed to test the SoS policies. However, testing SoS policy takes high cost because SoS is large-scale and complex system.Even worse, repetitive executions are also needed since the environment of SoS is non-deterministic.In this thesis, we suggest the mutation analysis for SoS policy.By evaluating test data through mutation analysis, we can prioritize test data and reduce the cost for testing.We define the mutation operators for testing general SoS policy, describe the framework of mutation analysis, and applied this approach to test transportation SoS with Simulation of Urban Mobility(SUMO) simulator.The result in case study shows effective test suite which have high mutation score could detect real faults.Also, we describe how efficient the approach is by showing the execution time according to the number of mutants.In addition the cost can be successfully reduced through sampling the mutants, since mutation score in half of sampled mutants intends to converge the mutation score of comprehensive mutants.Based on the case study, proposed approach can distinguish effective test suite within reasonable cost.
시스템 오브 시스템즈(SoS)는 단일 시스템이 해결할 수 없는 복잡한 문제를 풀기 위해 생겨난 개념으로, 독립적인 시스템들로 구성된 시스템 집합을 일컫는다.SoS는 환경 변화와 그에 따른 대응을 명세한 SoS 정책에 기반하여 행동하는데, 만약 SoS 정책이 목표를 고려하여 설계되지 않으면 SoS에 오류가 없음에도 불구하고 목표 달성에 실패할 수 있다.따라서 SoS 정책 테스팅의 중요성이 대두되고 있으나 SoS의 규모와 비결정성으로 인한 테스트 반복성으로 인해 큰 비용이 요구된다.따라서 본 연구에서는 이러한 문제점을 해결하기 위해 SoS 정책 대상 뮤테이션 분석 기법을 제안하고 이를 교통 SoS에 적용한 사례 연구를 제시한다.연구 결과는 뮤테이션 점수가 높은 테스트 집합은 실제 오류도 잘 검출할 수 있음을 보였다.또한 뮤턴트의 개수에 따른 실행 시간과, 샘플링된 뮤턴트 대상 뮤테이션 점수와 전체 뮤턴트 대상 뮤테이션 점수 비교 분석을 통해 본 기법의 비용적 측면을 서술하였다.
