Software, once developed one, has a long life and evolves through numerous additions and modifications because of the fault, the change of user requirement, the change of environment, and so forth. With the evolution of the software, assuring the quality of the software is getting more difficult because numerous versions of the software make it hard to manage themselves. Regression testing was introduced to provide the way to support the software testing activities and assure acquiring appropriate quality through several versions of software during software development and maintenance.
Regression testing, however, is too expensive because there are lots of test cases and the number of test cases increases sharply as software evolves. For this reason, various techniques are introduced to support regression testing and test case prioritization is perceived as the most effective techniques for regression testing among several techniques for regression testing.
In this thesis, we propose an approach, Historical Value-Based Approach, which is based on the use of historical information to estimate the current cost and fault severity for Cost-cognizant test case prioritization. For contribution, the proposed approach helps the stakeholders of the testing know how historical values are used in their testing for the improvements on the test effectiveness in terms of the value. As a result, software testers who conduct regression testing are able to prioritizing their test cases more effectively so that the test effectiveness of their testing can be possibly improved.
We also conducted a controlled experiment to validate the proposed approach with comparing the existing test case prioritization technique and the result of the experiment proved the usefulness and effectiveness of the proposed approach. Consequently, the experimental result shows that Historical Value- Based Approach for Cost-cognizant test case prioritization produces better results, better APFDc, than Functional Coverage-Based test case prioritization techniques if the changes of the test suite are significant.
한번 개발된 소프트웨어는 긴 수명을 가지며, 결함이나 사용자 요구사항의 변경, 환경의 변화 등의 원인으로 인한 수많은 모듈의 추가와 수정을 통해 진화한다. 소프트웨어의 진화와 더불어, 이러한 많은 모듈의 추가와 수정에 의한 소프트웨어의 다양한 버전의 생성은 소프트웨어 품질 향상을 가로막는 주요 요인중의 하나였다.
회귀 테스트는 이러한 소프트웨어의 다양한 버전과 모듈의 추가, 수정사항에 대한 고려를 바탕으로 새롭게 추가되거나 수정된 모듈이 기존의 모듈에 영향을 끼치는가를 테스트하여 소프트웨어 개발이나 유지보수 중의 어려움을 해소하기 위하여 등장하였다.
그러나, 소프트웨어가 여러 버전을 거쳐 진화함에 따라 많은 수의 테스트 케이스의 추가, 수정과 더불어 테스트 케이스의 전체 숫자가 급격히 증가함에 따라, 회귀 테스트는 비용이 많이 들기에 쉽게 수행하지 못하는 테스트이다. 이러한 이유로 여러 기법들이 등장하여 회귀 테스트의 수행을 돕게 되었고, 그 중에서 테스트 케이스 우선순위화 기법이 가장 효과적이고 효율적인 기법으로 받아들여지고 있다.
이 논문에서, 우리는 히스토리컬 가치 기반의 접근법을 제시하였고, 이는 비용 인식 테스트 케이스 우선순위화에서의 현재의 비용 및 결함 심각도를 예측하기 위하여 히스토리컬 정보를 사용하는 접근법이다. 본 논문의 공헌으로서, 제안된 접근법은 테스트의 이해관계자들이 어떻게 히스토리컬 가치가 가치의 관점에서 테스트 효과성의 향상을 위해 사용되고 있는가를 알 수 있도록 돕는다는데 있다. 결과적으로, 회귀 테스트를 수행하는 소프트웨어 테스터들은 그들의 테스트 케이스를 보다 더 효과적으로 우선순위화할 수 있기에 그들의 테스트를 통한 테스트 효과성은 향상될 수 있다.
우리는 제안된 접근법을 검증하기 위하여 통제된 실험환경을 수립하여 제안된 접근법과 기존의 함수 커버리지 기반 테스트 케이스 우선순위화 기법의 비교를 통한 실험을 수행하였고, 실험의 결과는 제안된 접근법이 항상 기존의 함수 커버리지 기반 테스트 케이스 우선순위화 기법보다 더 나은 결과를 보인다는 것을 보여주고 있다.
결론적으로, 실험의 결과는 비용 인식 테스트 케이스 우선순위화를 위한 히스토리컬 가치 기반의 접근법이 테스트 스위트에 큰 변경이 있는 경우에도 함수 커버리지 기반 테스트 케이스 우선순위화 기법보다 더 나은 결과를 도출한다는 것을 보여주고 있다.
