Test data generation is a tedious and laborious process. Search-based Software Testing (SBST) automatically generates test data optimising structural test criteria using metaheuristic algorithms. In essence, metaheuristic algorithms are systematic trial-and-error based on the feedback of fitness function. This is similar to an agent of reinforcement learning which iteratively decides an action based on the current state to maximise the cumulative reward. Inspired by this analogy, this paper presents the approach of employing reinforcement learning to SBST to replace human designed metaheuristic algorithms. We reformulate the software under test (SUT) as an environment of reinforcement learning. At the same time, we present Gunpowder a novel framework for SBST which extends SUT to the environment of reinforcement learning. We trained Double Deep Q-Networks (DDQN) agent with deep neural network and evaluated the effectiveness of our approach by conducting an empirical study. Finally, we find that agents can learn metaheuristic algorithms for SBST achieving 100% branch coverage for trained function. Our architecture sheds light on the future integration of deep neural network and SBST.
테스트 입력 생성은 많은 시간과 노력을 필요로 한다. 검색기반 소프트웨어 테스팅은 이러한 테스트 입력 생성을 구조적 테스트 기준에 대한 최적화 문제로 접근한다. 최적화에 사용되는 메타휴리스틱 알고리즘은 시행착오를 반복하며 목표하는 답을 찾아낸다. 이는 강화학습의 에이전트가 반복적으로 현재의 상태를 기 반으로 결정을 내리면서 누적된 보상을 최대화하는 것과 닮아있다고 할 수 있다. 이러한 유사점에 착안하여 이 논문에서는 강화학습을 검색기반 소프트웨어 테스팅에 적용하는 방법을 제시한다. 그와 동시에 검색기반 소프트웨어 테스팅을 위한 범용 프레임워크 Gunpowder 를 제안하고 이를 이용해 효과적으로 테스트 대상 소프트웨어를 강화학습의 환경으로 변환한다. 제안한 방법론의 타당성을 검증하기 위하여 Double Deep Q-Networks (DDQN) 알고리즘을 이용해 강화학습을 한 뒤 소규모 실험을 진행하였으며, 강화학습 알고리 즘이 학습한 함수에 대해서 100%의 분기 커버리지를 달성할 수 있는 것을 확인하였다. 제안된 방법론을 활용하여 향후 검색기반 소프트웨어 테스팅에 딥러닝의 효과적인 적용을 기대할 수 있다.
