Fault localization is the activity to locate faulty statement of the program. It is important to fix the faults but tedious, expensive, and time consuming. Many fault localization techniques have been proposed to reduce the fault localization efforts. Mutation-Based Fault Localization (MBFL) is one of the recently proposed automated fault localization technique. In MBFL, the location of a fault can be identified by the mutant (artificial fault) which behaves similarly to the faulty program. The behavior of mutants can be represented by the execution of test suite. Therefore, the result of MBFL can vary with test suite. In this paper, we experimentally analyze the impact of fault localization effectiveness by reducing test suite. We propose the test suite reduction approach considering mutant kill information of each test. (i.e., mutant kill vector, more mutant kill, less mutant kill, random) We then measure the differences of fault localization effectiveness between original test suite and the reduced test suite by the proposed reduction approach. As a result, our experiment shows that effectiveness of the reduced test suite is not statistically different with the effectiveness of original test suite. However, the reduced test suite can maintain the effectiveness on the same plane as original test suite. Among the reduction approach, the MMK (More Mutant Kill) approach shows the better effectiveness than or equal to LMK (Less Mutant Kill) approach. On the other hand, effectiveness of the MMK approach cannot show the statistically different with the effectiveness of RND approach. Finally, we provide further investigation for some specific cases between MMK and RND.
오류 위치 추정은 프로그램 속 오류의 정확한 위치를 찾는 활동이다. 이것은 프로그램의 오류를 고치기 위한 중요한 과정이지만, 많은 비용과 시간을 소모하는 문제를 안고 있다. 이러한 문제를 해결하기 위하여, 다양한 오류 위치 추정 기법들이 계속해서 개발되었다. 뮤테이션 기반의 오류 위치 추정 기법(MBFL)은 최근에 등장한 오류 위치 추정 기법으로써, 실제 오류와 유사한 행위를 보이는 뮤턴트(인공적인 오류)의 위치를 바탕으로 실제 오류의 위치를 찾는다. 이러한 뮤턴트의 행위는 테스트 스위트의 실행 결과로써 나타낼 수 있으며, 따라서 테스트 스위트의 변화에 따라 MBFL이 결과도 달라질 수 있다. 본 논문에서는 테스트 스위트 크기 축소에 따른 오류 위치 추정 효과성의 변화를 실험적으로 알아보았다. 우리는 각 테스트의 뮤턴트 제거 정보를 바탕으로 테스트 스위트 축소 기법을 정의하였고(i.e., mutant kill vector, more mutant kill, less mutant kill, random), 원본 테스트 스위트와 기법을 적용하여 축소된 테스트 스위트 간의 오류 위치 추정 효과성 차이를 분석하였다. 본 논문의 실험을 바탕으로 축소된 테스트 스위트는 원본 테스트 스위트와 통계적으로 유의하게 다르지 않은 결과를 보임으로써 전반적으로 더 나은 효과성 보이지는 못했지만, 성공한 테스트의 개수를 전체의 90%까지 줄였음에도 원본 테스트 스위트의 오류 위치 추정 효과성과 동일한 수준의 효과성을 보였다. 또한 각각의 축소 기법들에 대하여 MMK 기법은 LMK 기법의 결과보다 더 좋거나 같은 수준을 보임으로써 더 나은 효과성을 보였으나, RND 기법과 비교했을 때는 통계적으로 유의하게 다른 결과를 보이지 않았다. 또한 MMK 기법이 RND 기법 보다 월등한 결과를 가지는 일부 특수한 경우 등에 대한 추가적인 실험을 진행 및 분석하였다.
