Collective adaptive systems (CAS) consist of multiple agents that adapt to changing system and envi-ronmental conditions in order to satisfy system goals and quality requirements. The dynamic adaptation ca-pability of CAS has been applied to enhance the quality of systems from various domains, including intelli-gent transportation, healthcare, smart airports, and even space missions. As many of the applications involve using CAS in a critical context, ensuring the correct and safe adaptive behaviors of quality-driven CAS has become more important. Formal verification techniques such as model checking rigorously verify the cor-rectness of a software system, but they are not scalable for adaptive systems operating in large scale and dynamic environment. In this paper, we propose Collective Adaptive System Testing (CAST), a scalable and efficient approach to testing self-adaptive behaviors of CAS. We propose a selective method to instantiate and execute test cases relevant to the current adaptation context. This enables testers to focus testing on key self-adaptive behaviors while dealing with the scale and dynamicity of the system. An experimental evalua-tion using a traffic monitoring system is performed to validate its scalability, efficiency, and fault-detection effectiveness. The experimental results overall provide insights into how CAST can serve as a feasible and effective assurance technique for CAS.
오늘날 사회의 여러 도메인에 걸쳐서 시스템의 내부 및 외부 환경에서 발생할 수 있는 상황이 다양화되고 복잡해짐에 따라 자가 적응 시스템(Self-adaptive system)에 대한 관심과 중요도가 높아지고 있다. 자가 적응 시스템은 지속적으로 변화하는 환경에 능동적으로 대처하며 임무를 최적으로 수행하는 시스템이다. 거대한 분산 환경에서 작동하는 자가 적응 시스템으로 군집 적응형 시스템 (Collective adaptive system)이 있다. 군집 적응형 시스템은 내, 외부의 변화에 반응하여 구성 기기들의 협업 구조를 동적으로 재구성 하고 문제 환경에 적응하는 기능을 가지며, 이를 위해 안정성, 유연성, 강건성과 같은 속성을 만족해야 한다. 이에 따라 많은 연구들이 군집 적응형 시스템의 정형 검증을 위해 수행되었지만, 군집 적응형 시스템의 복잡도 때문에 검증 대상 모델을 확장이 어렵다는 한계를 지닌다. 따라서, 군집 적응형 시스템의 적응력과 관련된 중요 속성들의 만족여부를 확인하기 위해서는 시스템 테스팅을 수행하는 것이 효과적이다.
본 연구에서는 군집 적응형 시스템의 적응 관련 행위를 효율적으로 테스팅 할 수 있는 기법을 제안한다. 테스팅 기법의 확장성과 효율성을 높이기 위해 시스템 상태를 분석하고 적응된 컨텍스트와 관련이 있는 테스트 케이스들을 수행한다. 교통 모니터링 시스템을 대상으로 테스팅 기법을 적용하고 기법의 활용성을 분석한다. 또한, 테스팅 과정에서 시스템의 실제 오류 및 인위로 삽입한 오류가 검출되는 것을 보인다. 이를 통해서 본 연구의 테스팅이 제공하는 검증 결과가 군집 적응형 시스템의 적응성을 보완하고 정확히 만드는데에도 유용할 수 있음을 보인다.
