JavaScript broadens its uses from client-side web applications to mobile and smart appliance ap- plications, but testing JavaScript programs is not yet satisfactory. Researchers have not spent much attention on testing JavaScript programs, and existing coverage metrics and testing mechanisms for C and Java may not be applicable to JavaScript because of its extremely dynamic semantics without any compile-time checks. Because, in JavaScript, any variable may have six kinds of types during program evaluation, test cases with 100% coverage levels in terms of the existing coverage metrics for statically typed languages may miss test cases revealing faults in JavaScript.
In this thesis, we identify characteristics of JavaScript that make thorough testing of JavaScript ap- plications more difficult than testing C and Java programs. To address such characteristics, we propose new partition-based coverage metrics that expose implicit execution flows using varying types. To gen- erate test cases satisfying the coverage metrics effectively, we develop type-guided search strategies for concolic testing using static analysis results. We evaluate the new coverage metrics and search strategies for concolic testing with open-source Tizen sample web applications. The experimental results show that our partition-based coverage metrics are practically usable in JavaScript testing and the type-guided search strategies generate test cases that reach high levels of the coverage metrics effectively.
자바스크립트가 널리 사용되고 있음에도 불구하고, 자바스크립트 프로그램의 성능을 검사할 수 있는 테스팅 도구, 특히 concolic 테스팅 도구는 많지 않다. 게다가, 정적 타입 언어인 C나 자바를 위한 concolic 테스팅 기법은 많이 개발되었지만, 이러한 기법을 자바스크립트와 같은 동적 타입 언어에 적용하기 어렵다. 특히, 자바스크립트 변수는 여러 가지 타입을 가질 수 있고 타입에 따라 프로그램의 실행 흐름이 달라지므로, 타입을 고려하지 않는 기존의 커버리지 매트릭스와 탐색 전략을 이용하면 프로그램 내에 존재하는 버그를 놓칠 수 있다. 따라서 본 학위 논문에서는 빈틈없는 테스팅을 어렵게 만드는 자바스크립트의 특징을 찾고, 그러한 특징을 고려하는 partition-based 커버리지 매트릭스를 새롭게 정의했다. Partition-based 커버리지 매트릭스는 여러 가지 타입을 테스트 요구사항에 포함하여, 내재된 실행 흐름을 드러냈다. 또한, 새롭게 정의한 커버리지 매트릭스에 의해 확장된 탐색 공간을 위한 타입 우선 탐색 전략을 제안했다. 우리는 새롭 게 제안한 커버리지 매트릭스와 탐색 전략을 Tizen 표본 웹 애플리케이션을 가지고 실험했다. 커버리지와 버그 탐지 간의 상관관계를 비교하여 기존의 커버리지 매트릭스보다 partition-based 커버리지 매트릭스가 실제로 자바스크립트 프로그램 테스팅에 유용함을 보였다. 또한, 타입 우선 전략을 사용하면 새롭게 제안한 커버리지 매트릭스에 대해 높은 커버리지에 빨리 도달할 수 있음을 보였다.
