Function Block Diagram (FBD) is a graphical modeling language for Programmable Logic Controller (PLC) programs. Recently, FBD has been increasingly used to implement safety-critical software such as nuclear reactor protection software. With increased importance of structural testing for FBD models, FBD model-based test coverage criteria have been already introduced: Basic Coverage (BC), Input Condition Coverage (ICC), and Complex Condition Coverage (CCC). While the three FBD test coverage criteria reflect data flow-characteristics of FBD and suggest intuitive structural coverage concepts, fault detection ability of the FBD coverage criteria is not evaluated.
In this paper, we empirically investigate the effectiveness, and strength/weakness of the fault detection of the FBD test coverage criteria. Also, we analyze the gain of using the coverage criteria in terms of the test effectiveness and cost by comparing to the random testing. To gain statistically significant results, we generate 1500 test suites satisfying the FBD test coverage criteria. Meanwhile, we generate 481 faults of FBD models by applying mutation operators to five industrial FBD models. Then we investigate which test suite detects what mutants.
In summary, the strongest FBD test coverage criterion, CCC, can detect at most 94.4\% of faults in the subject model, and the average fault detection ability of BC and ICC were not significantly different in most cases. Though the three coverage criteria have strength on detecting faults in Boolean edges and arithmetic blocks, faults in constant values, logic blocks, and comparison blocks are not detected effectively. These findings improve empirical background of the structural testing for FBD models.
Function Block Diagram (FBD)은 산업용 컴퓨터인 Programmable Logic Controller (PLC)을 위한 그래픽 모델링 언어이다. 최근에는 원자로 보호 시스템과 같은 안전 필수 시스템 소프트웨어 구현에 FBD가 많이 쓰이고 있다. FBD 모델에 대한 구조적 테스팅에 대한 중요성이 대두되면서, Basic Coverage (BC), Input Condition Coverage (ICC), Complex Condition Coverage (CCC)라는 3가지 FBD 모델 기반 테스트 커버리지가 기존에 제안되었다. 이러한 FBD 테스트 커버리지 기준은 FBD 모델의 데이터 흐름 특성을 잘 반영하고 직관적인 구조적 테스팅에 대한 기준을 제공하였으나, 실직적으로 오류를 검출하는 능력에 대해서 제대로 평가가 이루어지지 않았다.
본 연구에서는 기존의 FBD 모델 테스트 커버리지 기준에 대한 오류 검출 효과성과 특정 오류 종류에 대한 강점 및 약점을 분석한다. 또한, 커버리지 기준을 사용하지 않은 랜덤 테스팅 기법과의 비교를 통해서 FBD 테스트 커버리지 기준을 사용했을 때의 오류 검출 효과성 및 효율성에 대해서 살펴본다. 실험 과정에서 통계적으로 유의미한 결과를 얻기 위해서 FBD 테스트 커버리지 기준을 만족하는 1500개의 테스트 스위트를 생성하고, 다섯가지 산업 FBD 모델에 대해 뮤테이션 연산자를 적용하여 481개의 FBD 모델 오류를 생성한다.
결과적으로, CCC 기준의 경우 최대 94.4\%의 오류를 검출하였으며, BC와 ICC의 경우 평균 오류 검출 효과성이 통계적으로 유의미한 차이를 보이지 않는다는 것을 발견했다. 세가지 커버리지 기준 모두 이진 연산 및 산술 연산에 대한 오류 검출에는 탁월한 능력을 보였으나, 상수 관련 오류나 로직 및 비교 블록에 대한 오류는 효과적으로 검출하지 못한다는 점을 발견했다. 이러한 발견들은 FBD 모델의 구조적 테스팅 기법을 발전시키는데 기여할 것으로 기대된다.
