Fault localization aims to support the debugging process by highlighting the program elements which are suspected to be the cause of failure. Spectrum Based Fault Localization (SBFL), which relies only on coverage data of passing and failing test cases, has been widely studied. This, however, has been criticized for being impractical in practice; it lacks the accuracy and provides only limited effort reduction. To overcome the limitations of technique based purely on coverage data, we propose FLUCCs (Fault Localization Using Code and Change Metrics), an approach which extends SBFL technique with code and change metrics, such as size, age and code churn, which have been studied in defect prediction. Using both suspiciousness scores, which are calculated by existing SBFL metrics, and code and change metrics as features, we apply two learning-to-rank algorithms: Genetic Programming (GP) and linear rank Support Vector Machines (SVMs). We evaluate our approach with ten-fold cross validation of method level fault localization, using 210 real world faults from Defects4J repository. As a results, GP with SBFL scores and additional code and change metrics ranks 106 faults at the top and 173 faults within the top 5.
결함 위치추정은 결함으로 의심되는 프로그램 구성요소의 위치를 강조함으로써 디버깅 과정에서 소모되는 노력과 자원을 삭감하는 것을 목적으로 한다. 스펙트럼 기반 결함 위치추정(SBFL: Spectrum Based Fault Localization)은 실제 테스트 케이스 실행 결과(성공, 실패)를 이용하는 커버리지 기반 결함 위치추정 기법으로, 다방면에서 널리 연구되어 왔다. 그러나, 실제 현장에서는 스펙트럼 기반 결함 위치추정 기법과 같은 커버리지 기반 기법이 정확도와 효용성 측면에서 도움이 되지 않는다고 비판하고 있다.
이 논문에서는 이러한 한계를 극복하기 위하여 기존 스펙트럼 기반 위치추정 기법에 결함 예측에서 사용되어 왔던 소스코드 메트릭을 포함시키는 기법 FLUCCs (Fault Localization Using Code and Change Metrics)을 제안한다. 이 기법은 랭크 학습 접근 방식에 기반하였으며, 이때 사용된 feature 집합에는 기존에 사용되어 왔던 스펙트럼 기반 결함위치추정 기법으로부터 계산된 결함 의심도 값과 소스코드 메트릭 값이 모두 포함되어있다. 학습 알고리즘으로는 유전자 프로그래밍(GP: Genentic Programming)과 선형 랭킹 서포트 벡터 머신(linear rank Support Vector Machines)을 채택하였다. 본 논문은 메소드 레벨에서 FLUCCs 의 결함 위치추정 성능을 평가하였다. 이때 타당성을 검증하기 위하여 ten-fold cross validation이 사용되었으며, 실제 발생한 결함들을 저장하고 있는 Defects4J 로부터 210개의 결함을 실험 대상으로 가져와 사용하였다. 그 결과, 유전자 프로그래밍 기법과 소스코드 메트릭을 사용한 FLUCCs 은 106개의 결함을 1위에, 173개의 결함을 5위 안에 찾아내었다.
