Mutation testing is a fault-based software testing technique which provides an effective testing adequacy criterion in evaluating the fault detection capability of a test suite. Whereas mutation testing has been studied widely over three decades, the mutation adequacy criterion remains essentially the same as it was first proposed in the 1970s: it simply considers whether a mutant (i.e., an artificial fault) is killed (i.e., detected) or not by a given test suite. Such simplicity makes the inherent diversity of mutants wasted: different mutants can be regarded as redundant in terms of their kill information, and it becomes too easy to satisfy the mutation adequacy criterion. This thesis argues that the mutation adequacy criterion is able to be improved, using the same set of mutants, by additionally considering the diversity of mutants based on their kill patterns.
This thesis proposes a theoretical framework of mutation testing to formally describe the essence of mutation testing including the mutation adequacy criterion. Based on the formal framework, the thesis proposes a novel mutation adequacy criterion called distinguishing mutation adequacy criterion, which is fully satisfied when each of the considered mutants are distinguished from the other by the set of tests that kill it, thereby encouraging inclusion of more diverse range of tests in the vast space of possible program behaviors. Theoretically, satisfying the distinguishing mutation adequacy criterion guarantees satisfying the traditional mutation adequacy criterion. Empirically, the test suites satisfying the distinguishing mutation adequacy criterion can detect 8.26 times more unseen real-world faults than the test suites satisfying the traditional mutation adequacy criterion on average, at the cost of 3.07 times increase in test suite size.
소프트웨어 테스팅은 유한한 테스트 집합을 이용해서 대상 프로그램의 오류를 확인하므로, 주어진 테스트 집합의 충분성을 평가하는 것은 매우 중요하다. 오류 기반 테스팅 기법 중 가장 널리 알려진 뮤테이션 테스팅에서는, 주어진 테스트 집합이 인공적인 오류(뮤턴트)를 검출하는 능력을 활용하여 해당 테스트 집합의 충분성을 평가한다. 즉, 테스트 집합이 모든 뮤턴트들을 검출하면 해당 테스트 집합은 뮤테이션 충분성 기준을 통과한 것이다. 그러나 단순히 뮤턴트 검출 여부만 고려하고 뮤턴트들이 서로 다르다는 사실은 고려하지 않기 때문에 서로 다른 뮤턴트들이 검출 여부 측면에서 중복되는 것으로 간주될 수 있으며, 뮤테이션 충분성 기준이 쉽게 달성되고, 결과적으로 오류 검출 능력이 뛰어난 테스트 집합을 제대로 선별할 수 없는 경우가 발생한다. 본 학위논문은 이러한 문제를 해결하기 위하여 뮤턴트들의 다양성을 고려하여 뮤테이션 충분성 기준을 강화하고, 이를 바탕으로 더 효과적인 테스트 집합을 선별할 수 있음을 밝힌다.
본 학위논문은 뮤테이션 충분성 기준을 포함하여 뮤테이션 테스팅의 핵심을 논할 수 있는 이론적 프레임워크를 제안한다. 이론적 프레임워크를 기반으로 뮤턴트 검출 패턴을 이용하여 뮤턴트들의 다양성을 추가적으로 고려할 수 있는 새로운 뮤테이션 충분성 기준을 정의한다. 이론적으로, 새롭게 정의된 뮤테이션 충분성 기준을 만족하면 항상 기존의 뮤테이션 충분성 기준이 만족된다는 사실을 보인다. 오픈 소스 소프트웨어의 실제 오류들을 대상으로 실험한 결과, 제안하는 다양성을 고려한 뮤테이션 충분성 기준을 만족하는 테스트 집합이 기존의 뮤테이션 충분성 기준을 만족하는 테스트 집합보다 평균 8.26배 더 많은 오류를 검출할 수 있으며, 이때 테스트 집합의 크기는 평균 3.07배 커진다.
