Testing of distributed service-oriented applications is more challenging than testing monolithic applications since these service-oriented applications have complex interactions between participant services executing in distributed networks. In testing of service-oriented applications, test engineers can observe test results only through a front service that handles request messages sent by test engineers. Message exchanges between participant services are hidden behind the front service and cannot be easily observed or controlled through the front service. For this reason, testing of service-oriented applications suffers from limited observability and controllability problem. This thesis proposes a new test method that is architecture-based and exploits architectural information of a service-oriented application. The proposed test method alleviates the limited observability and controllability problem by employing test architecture, thereby facilitating test execution and analysis through monitoring and controlling the hidden message exchanges. Our proposed method derives an interaction architecture from the composition specification of a service-oriented application. Test architectures can be designed from the derived interaction architecture by extending it with additional test elements. At the same time, architecture-neutral test scenarios are automatically generated from the test model that is constructed from the specification. Our method combines test architecture information with the architecture-neutral test scenarios to obtain architecture-enabled test scenarios under the selected test architectures. Finally, architecture-enabled test execution and analysis are conducted in the real network environment. The efficacy of the proposed method is demonstrated with an industrial case study, which shows that it is practical and effective for testing service-oriented applications. Even though our method increases an additional test generation effort owing to test architecture, it is counterbalanced by higher fault detection rate and faster fault locating time.
서비스 지향 어플리케이션을 시험하는 것은 분산 네트워크 상에서 실행되는 참여 서비스들 간의 복잡한 상호작용으로 인하여 하나로 합쳐진 어플리케이션을 (monolithic application) 시험하는 것보다 어렵다. 이와 같은 서비스 지향 어플리케이션 시험에서 시험 엔지니어는 오직 시험 요청 메시지를 처리하는 프런트 서비스를 통해서만 시험 결과를 관찰할 수 있으며, 프런트 서비스 뒤에 숨겨진 참여 서비스들 간의 메시지 교환을 쉽게 관찰할 수도 없고 제어할 수도 없다. 이와 같은 연유로 인하여, 서비스 지향 어플리케이션 시험은 제한된 관찰용이성 (observability)과 제어용이성 (controllability) 문제를 겪고 있다.
본 논문에서는 서비스 지향 어플리케이션의 아키텍처 정보를 이용하는 새로운 아키텍처 기반의 시험 방법을 제안한다. 본 논문에서 제안한 시험 방법은 시험 아키텍처를 도입함으로써 관찰용이성과 제어용이성 문제를 완화시킨다. 시험 아키텍처 도입은 숨겨진 메시지 교환을 모니터링하고 제어함으로써 시험 시나리오 실행과 분석을 좀 더 용이하게 한다. 아키텍처 기반의 시험 방법은 서비스 지향 어플리케이션의 서비스 컴포지션 명세로부터 (composition specification) 인터렉션 아키텍처를 얻어내고, 얻어진 인터렉션 아키텍처에 추가적인 시험 구성요소를 (element) 배치하여 시험 아키텍처를 설계할 수 있다. 이와 동시에 서비스 컴포지션 명세로부터 만들어진 시험 모델에서 아키텍처 중립 시험 시나리오를 자동으로 생성한다. 이후, 아키텍처 지원이 가능한 (architecture-enabled) 시험 시나리오를 얻기 위해 아키텍처 중립 시나리오와 시험 아키텍처 정보를 결합한다. 마지막으로는, 시험 아키텍처가 장착된 서비스 지향 어플리케이션 시험 실행과 분석을 실제 네트워크 환경에서 수행한다. 제안된 방법의 유효성은 (efficacy) 산업체 사례연구를 통해 제시 되었으며, 사례연구 결과 보다 높은 결함 탐지율과 빠른 결함 탐지 시간으로 서비스 지향 어플리케이션 시험에 실용적이고 효과적임을 보였다. 본 논문에서 제안하는 방법이 시험 아키텍처 도입에 따른 시험 케이스 생성과 실행에 추가적인 오버헤드가 들기는 하지만, 다른 시험 방법으로 탐지하기 어려운 결함을 검출할 수 있고 조기에 결함 위치를 파악함으로써 시험자의 수고를 상당히 경감시킬 수 있다.
