Due to the widespread propagation of smart mobile devices, the marketplace of mobile applications (apps) has grown exponentially, and the mobile apps also could be prone to be faulty as the complexity of mobile apps has increased. An automated graphical user interface testing (GUI testing) is one of the most widely used techniques that exercises the behaviors of an application under test (AUT) by executing events on GUIs and checking if the software behaves correctly. In particular, because Android platforms have led the market share of mobile OS platforms, a lot of researches on automated Android GUI testing techniques have been performed. Among various techniques, we focus on model-based Android GUI testing that utilizes a GUI model for effective test generation and systematic debugging support. In order to generate effective test inputs in model-based approaches, accurate modeling of AUT’s behaviors is the most important factor because test input generation is based on the GUI model. However, most modern Android apps contain a number of dynamically constructed GUIs that make modeling behaviors more challenging. To address this modeling problem, we propose a Multi-level GUI Comparison Criteria (GUICC) that provides the selection of multiple abstraction levels in GUI model generation. We also have implemented a testing framework that automatically performs model-based GUI testing for Android apps with our proposed GUICC. Our experi-mental results show that we can achieve significantly higher effectiveness than existing activity-based GUI model generation, and we also find that the proposed technique can successfully alleviate the inherent state explosion problems for modeling the behaviors of real-world Android apps.
최근 스마트 모바일 기기가 빠르게 확산되면서 모바일 어플리케이션(앱)의 시장이 급속도로 성장하고 있다. 또한 모바일 앱이 제공하는 기능의 복잡도가 증가하면서 오류가 발생할 확률도 함께 증가하고 있다. 자동화 GUI 테스팅(Graphical User Interface Testing)은 이와 같이 소프트웨어에 내재하고 있는 오류를 찾기 위해 GUI를 통해 이벤트를 실행하고 테스트 대상 앱(Application under test)이 올바르게 행동하는지 검사하고 오류를 검출하기 위해 널리 사용되는 기법이다. 특히 모바일 OS 시장에서 안드로이드(Android)가 높은 점유율을 차지함에 따라, 안드로이드 앱의 신뢰성과 사용성 검증을 위한 자동화된 안드로이드 GUI 테스팅 기법이 다양하게 연구되고 있다.
그 중 모델 기반(Model-based) GUI 테스팅 기법은 GUI 모델을 이용해 테스트 입력을 생성하기 때문에, 기법의 유효성(Effectiveness) 향상을 위해서는 테스트 대상 앱의 행위를 효과적으로 반영할 수 있는 정확한 모델 생성 기법이 필요하다. 그러나 최신 안드로이드 앱은 풍부한 사용자 경험을 제공하기 위한 동적 GUI 구성으로 인해 정확하고 일관성 있는 GUI 모델 생성이 어려워지고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 안드로이드의 화면을 구분하기 위한 GUI 상태 비교 기준(GUI Comparison Criteria)을 다중 레벨로 정의하여, GUI 모델 생성의 추상화 수준을 결정할 수 있는 모델 생성 기법을 제안한다. 더불어, 제안된 비교 기법을 적용한 자동화 안드로이드 GUI 테스팅 프레임워크를 구현함으로써, 실제 안드로이드 앱을 대상으로 GUI 비교 기준에 따른 테스팅을 수행하는 비교 실험을 수행한다.
GUI 비교 기준의 레벨에 따른 비교 실험의 결과, 제안 기법이 기존의 액티비티(Activity)를 GUI 상태 비교 기준으로 사용한 모델 기반 기법보다 모델 생성, 코드 커버리지(Code coverage), 에러 검출(Error detection) 측면에서 더 유효하다는 것을 발견했다. 또한, 다중 레벨의 비교 기준을 통한 모델링 및 테스팅의 추상화 수준 조절을 통해 기존 모델 기반 기법들의 약점인 상태 폭발(State explosion) 문제를 해결할 수 있다는 점을 확인했다. 이러한 발견을 통해, 제안 기법이 모델 기반 안드로이드 GUI 테스팅의 유효성 및 효율성 향상에 기여할 수 있을 것으로 기대된다.
