Software testing for assuring the software quality is known to account for approximately 50 percent of the development cost. This cost can be reduced if the process of testing is automated. But, automatic selection and generation of test inputs still remains a challenge for tool developers. Therefore, a lot of works have been performed to automate the process of generating test data.
Although many techniques for automatic test data generation have been developed, [9, 14, 17, 23, 28, 31, 36, 38, 48, 49], there is no overall evaluation and comparison of these techniques. Evaluation and comparison of existing techniques is useful for choosing appropriate approach for particular applications. Evaluation and comparison of existing approaches also provides insights into the strengths and weaknesses of current methods, and offers a guidance in choosing areas that future work on the test data generation should address.
This paper discusses on the issues relevant to test data generation and conducts experiments on four representative test data generation techniques. The results of the experiments show that the GA-based test data generation performs the best. However, there are still some weaknesses in the GA-based method. Therefore, we introduce the static analysis information into the GA-based method to cope with these weaknesses. The experiments are carried out to compare the original GA-based method and new version of the GA-based method that utilizes static analysis information.
소프트웨어의 품질을 보장하기 위한 소프트웨어 시험은 전 개발 비용의 약 50%를 차지하는 것으로 알려져 있다. 이 비용은 시험의 자동화를 통해서 줄일 수 있지만, 테스트 데이터의 자동 생성은 여전히 해결해야 할 문제로 남아있다. 그러한 이유로, 테스트 데이터를 자동으로 생성하기 위한 많은 연구들이 수행되어 왔다.
지금까지 많은 테스트 데이터 자동 생성 기법들이 개발되었지만[9, 14, 17, 23, 28, 31, 36, 38, 48, 49], 이러한 기법들을 전체적으로 비교하고 평가하는 연구는 없었다. 현존하는 기법들을 평가하고 비교한 결과는 특정한 목적을 위해 적절한 접근방법을 선택하고자 할 때 이용될 수 있다. 또한, 현재까지 제안된 방법들의 장점과 약점을 통찰할 수 있도록 해준다. 그리고, 테스트 데이터 생성의 자동화를 위해 앞으로 해야 할 일을 알려준다.
본 논문은 테스트 데이터 생성과 관련된 논점들에 대해 토의하고 네가지의 대표적인 테스트 생성 기법들을 실험한다. 실험 결과 유전자 알고리즘을 기반으로 한 테스트 데이터 생성 방법이 가장 좋은 성능을 나타냈다. 그러나, 여전히 몇가지 결함들이 있다. 따라서, 이러한 결함들을 극복하기 위해 기존의 유전자 알고리즘을 기반으로 한 방법에 정적 분석을 통해 얻은 정보를 이용한 알고리즘을 제안한다. 그리고, 기존의 방법과 새로 제안한 방법을 실험을 통해 비교한다.
