Although mutation analysis is important for various software analysis tasks, there exists no practical mutation tools for modern, complex, real-world C programs. I have developed MUSIC (MUtation analySIs tool with high Configurability and extensibility) which generates mutants for modern complex real-world C programs. I have conducted a case study on Siemens benchmark programs and a modern real-world C program cURL to compare MUSIC with Milu, Proteum in terms of applicability and number of stillborn (i.e. syntactically illegal) mutants generated. In this case study, MUSIC successfully generates mutants without any stillborn mutants.
Another serious obstacle for mutation analysis is the huge cost of running test suites on a large number of mutants. To resolve this problem, I have proposed a new mutation operator-based mutant reduction technique REFINER which applies cost-considerate linear regression (i.e., CLARS) on finegrained mutation operators. Also, I have applied REFINER to predict hard-to-kill mutation score which is more valuable to measure test suite quality than commonly used mutation score.
The experiment results show that, while sustaining accurate prediction power to estimate hardto-kill mutation score, REFINER selects far fewer mutants than CLARS on the traditional mutation operators (i.e., 2.0% vs. 16.5%). Also, REFINER predicts hard-to-kill mutation score 4.5, 4.4, and 4.3 times more accurate than mutant reduction techniques that use random selection, Offutt’s four mutation operators selection, and, only SSDL mutation operator respectively.
변이 분석은 소프트웨어를 분석하는 기술로서 중요한 역할을 하지만, 현존하는 복잡한 C 프로그램에 대한 실용적인 변이 분석 도구가 존재하지 않는다. 본 논문에서는 복잡한 C 프로그램에 대해 변이를 생성하는 MUSIC (MUtation analySIs tool with high Configurability and extensibility)을 개발하였다. Siemens 벤치마크 프로그램들과 cURL을 대상으로 적용가능성과 stillborn 변이 생성 수 관점에서 MUSIC과 Milu, Proteum을 비교하는 사례 연구를 수행하였다. 연구 결과, MUSIC이 stillborn 변이를 전혀 생성하지 않았다.
변이 분석의 또 다른 심각한 문제점은 변이 생성 수가 매우 많아서 변이들의 테스트 비용이 크다는 점이다. 본 논문에서는 이러한 문제를 해결하기 위해 변이 연산자 기반의 변이 생성 수 절감 기법인 REFINER를 개발하였다. REFINER는 효율적인 직선회귀 기법인 CLARS를 세분화된 변이 연산자에 적용한다. REFINER를 적용했을 때, 테스트 수트 질을 측정하는데 상용되는 죽이기 변이의 비율보다 가치 있는 죽이기 어려운 변이의 비율을 예측할 수 있다.
실험 결과, REFINER는 죽이기 어려운 변이의 비율을 정확하게 예측하였고, 상용되는 변이 연산자에 CLARS를 적용했을 때보다 변이 선택 수를 크게 줄였다 (2.0% vs. 16.5%). 또한, 무작위 변이 선택 기법, Offutt의 4개 변이 연산자를 사용한 기법, 그리고 SSDL 변이 연산자만 사용한 기법과 비교했을 때, REFINER가 죽이기 어려운 변이의 비율을 각각 4.5, 4.4, 4.3배 더 정확하게 예측하였다.
