Recently, a test derivation method suitable for testing interoperability for the class of communication protocols like the ATM/B-ISDN signaling protocol was proposed in [1]. However, there has been little work reported on automatic derivation of the interoperability test suite and analyzing its coverage. In this thesis, we implement the algorithm proposed in [1], apply it to the Transmission Control Protocol (TCP), and analyze its results. In this process, We (1) improve the algorithm that is not applicable to the TCPs three-way handshaking, (2) implement the improved algorithm as a program and derive an interoperability test suite automatically from a given pair of TCP FSMs, (3) analyze generated interoperability test suite in view of transition coverage, (4) present a method in order to extend the algorithm for better transition coverage, and (5) show an enhanced method generating fewer test cases by adopting the FSM defined quite strictly.
한 프로토콜의 시험 대상 구현물 (IUT)이 그 명세를 올바로 구현하였는지를 판단하는 적합성 시험에 비해 상호운용성 시험은 두 개 이상의 서로 연결된 IUT들이 명세에 따라 정확하게 동작하는 지를 판단한다. 두 구현물 각각의 적합성이 확인되었다 할지라도 그들의 상호운용에 있어서는 실패할 수 있는 것으로 널리 알려져 있다 [2, 3]. 상호운용성 시험과 관련한 연구로서 ATM/B-ISDN 신호 프로토콜과 같은 통신 프로토콜의 상호운용성을 시험하기 위한 시험경우 (test cases)를 생성하는 알고리즘이 제안되었다 [1]. 현재까지 상호운용성 시험경우 도출을 자동화하거나 이에 대한 커버리지를 분석한 사례는 없다. 본 논문에서는 [1]에서 제안한 알고리즘을 프로그램으로 구현하고, 이를 ATM/B-ISDN 신호 프로토콜 및 TCP 연결설정 프로토콜에 적용하여 시험경우를 자동으로 생성한다. 또한 생성된 TCP의 시험경우에 대하여 트랜지션 커버리지를 구하고 분석한다.
먼저 상호운용성 시험과 관련하여 본 논문에서 가정하고 있는 사항들과 연구의 배경 이론들을 살펴보자. 우리는 단일 자극 원리 (single stimulus principle)에 입각하여 시험경우를 도출한다. 이 원리에 의하면 Finite State Machine (FSM)의 한 안정 상태 (stable state)에서 다중의 자극과 천이 중 자극은 허용되지 않는다. 상호운용성 시험을 위한 시험 구조는 두 IUT 사이에 시험기가 있는 구조, 모니터가 있는 구조, 아무 것도 없는 구조로 생각해 볼 수 있다 [5]. 본 논문에서는 두 IUT 사이에 아무 것도 없는 것을 기초로 한다. 상호운용성 시험경우를 생성하는 알고리즘은 두 IUT의 FSM을 입력으로 하여 합성 FSM을 구하는 과정으로 요약될 수 있다. 이 과정에서 생성된 합성 FSM을 이루는 트랜지션들이 시험경우가 되고, 이들 트랜지션 가운데 (1) 두 IUT간에 전달되는 메시지를 하나이상 포함하고, (2) 메시지를 전달받은 IUT는 그 메시지를 사용하는 (천이가 있는) 경우의 트랜지션이 상호운용성 시험경우이다 [5].
기존 연구에서 제시한 알고리즘을 어떻게 개선하고, 구현했는지와 실제 프로토콜에 적용한 결과에 대하여 살펴보자. 우리는 [1, 5]에서 제안한 알고리즘이 하나의 외부입력에 대하여 3개 이상의 메시지 교환이 있는 프로토콜 (e.g., TCP의 연결설정 부분)에 적용될 수 없는 문제를 발견하고, 이를 해결할 수 있도록 알고리즘을 개선하고 프로그램으로 구현하였다. 이를 먼저 ATM/B-ISDN 신호 프로토콜에 적용하여 논문 [5]에서 수작업으로 구한 시험경우와 동일한 결과를 갖는 것을 확인하였고, 다음으로 TCP에 적용하여 시험경우를 도출함으로써 알고리즘의 정확성과 일반성을 보였다. TCP의 시험경우는 32개가 도출되었으며, 이 중 상호운용성 시험경우는 16개였다.
도출한 TCP 시험경우를 가지고 시험에 합격한 시스템을 얼마나 신뢰할 수 있는지를 알아보기 위해 TCP 시험경우의 트랜지션 커버리지를 조사하고, 이 트랜지션 커버리지를 얻기 위해 수행한 트랜시션 횟수를 조사함으로써 TCP 시험경우의 효율성을 살펴본다. 트랜지션 커버리지를 구하기 위해 SDL 상용 도구에 있는, 100%의 커버리지를 갖는 검증의 기법을 참조하였다. 결과적으로 우리가 도출한 시험경우는 73%의 커버리지를 가지면서, 이를 위해 수행한 트랜지션 횟수는 41로 검증의 256에 비해 적은 것으로 나타났다. 즉 보다 적은 시험경우를 가지고 (적은 비용), 시험 대상 시스템의 상당한 부분을 시험할 수 있도록 한 것이다.
본 논문에서 도출한 시험경우가 커버하지 못하는 트랜지션이 존재하는 이유를 살펴보고, 보다 높은 트랜지션 커버리지를 얻기 위한 방법을 제시한다. 본 논문에서 사용한 방법은 단일 자극 원리를 가정하고 있기 때문에, TCP에서 동시 열기 (simultaneous open)와 동시 닫기 (simultaneous close)에 사용되는 트랜지션은 커버하지 못한다. 또한 본 논문에서 가정한 시험구조는 IUT 사이에 오가는 메시지를 제어할 수 있는 시험기가 없는 시험 구조이기 때문에 메시지 손실에 대비한 기능을 수행하는 트랜지션들은 커버하지 못한다. TCP 연결설정 프로토콜에 있어서 100%의 트랜지션 커버리지를 갖는 시험경우를 얻기 위해서는 다중 자극을 처리할 수 있도록 알고리즘을 개선하고, IUT 사이에 시험기가 있는 구조를 선택하여야 한다.
마지막으로, 보다 적은 비용을 사용하는 효율적인 시험경우를 도출하기 위해 알고리즘을 개선하고 적용한다. 즉, 동일한 트랜지션 커버리지를 갖는데 보다 적은 시험경우로 가능하도록 한다. 상호운용성 시험스위트 도출 알고리즘의 입력이되는 FSM에서 메시지의 처리를 어떻게 해석하는가에 따라 도출되는 시험경우의 수가 틀려질 수 있다. 또한 이렇게 도출한 시험스위트의 커버리지나 시험에 소요되는 시간과 비용도 달라진다. 어떤 FSM의 한 상태 (state)에 대하여 기술되지 않은 메시지에 대한 처리는 일반적으로 자기 상태 천이 (Self-State Transition)로 해석한다. 이러한 트랜지션은 그 프로토콜에서 의도하는 행위 (behavior)에 속할 수도 있고 그렇지 않을 수도 있다. 따라서 설계자가 의도하는 자기 상태 천이 트랜지션들은 명시화될 필요가 있다. 왜냐하면 특히 대규모의 프로토콜 구현물 시험에 있어서는 의도하지 않은 행위에 대한 시험을 하는 것은 시간과 비용의 측면에서 비효율적이기 때문이다. 우리는 명시적으로 기술하지 않은 자기 상태 천이의 트랜지션들은 상호운용성 시험경우 생성에서 고려하지 않도록 알고리즘을 수정하였다. 이를 TCP에 적용한 결과, 상호운용성 시험경우 수를 기존의 절반인 8개로 줄일 수 있었다. 그럼에도 불구하고 트랜지션 커버리지는 73%로 동일하였으며, 트랜지션 수행 횟수도 41에서 20으로 줄어서 효율성 있는 시험경우임을 확인하였다.
향후, 다중의 자극을 처리할 수 있고, 두 IUT 사이에 시험기가 있는 시험 구조를 사용하는 알고리즘으로 확장하고 적용하는 연구가 요구된다. 이와 더불어 데이터를 포함하는 FSM에 대한 시험을 가능케 하는 연구가 필요하다.
