Accurate software reliability prediction during software testing is still an open challenge in reliability engineering communities. Although many software reliability models have been developed for this challenge, there is no single model appropriate in all circumstances. Accordingly, it is common to apply multiple software reliability models to the observed failure data, and some recent studies have focused on how to apply multiple models more effectively (e.g., model selection or combination based on some comparison criteria). However, it is not easy to identify the model that makes the most trustworthy long-and short-term reliability prediction. Thus, inappropriate model selection or combination often causes unsuccessful software reliability prediction in practice, which leads to cost/schedule overrun in a project.
This dissertation aims to provide reliability practitioners with more accurate software reliability prediction from the mid stages of testing. As a preliminary step, a large-scale empirical study is conducted to investigate the characteristics of comparison criteria which have been commonly used in existing model selection or combination approaches. Study results show that a goodness-of-fit criterion to the past observations cannot properly capture the prediction performances of models. Such improper criteria application in existing approaches may cause the low accuracy in software reliability prediction. These motivated us to develop a new model combination approach.
In this dissertation, we propose a model combination approach based on prediction confidence for more accurate software reliability prediction. To obtain the prediction confidence values of models, we developed Adaptive Criteria Tree (ACTree) which generates a series of criteria rules with consideration of multi-criteria joint effects. ACTree is constructed by identifying more informative criteria and their threshold values for reliability prediction, and the constructed tree assigns a prediction confidence value to each model. Then, the various combinations of models are examined with given prediction confidence values, and optimal one is used for the software reliability prediction. To evaluate the proposed approach, a series of experiments have been performed based on a leave-one-out cross validation technique. From experimental results, the proposed approach showed more stable and accurate prediction results than existing approaches in many cases regardless of prediction periods, which can help reliability practitioners to obtain more accurate software reliability metrics.
소프트웨어 테스트 과정 중 정확한 소프트웨어 신뢰성 예측은 신뢰성 공학 분야에서 여전히 중요한 도전 과제이다. 이를 위해 많은 소프트웨어 신뢰성 모델들이 개발되어 왔지만 모든 상황에 적합하고 정확한 신뢰성 예측을 제공하는 단 하나의 모델은 존재 하지 않는다. 따라서 최근에는 새로운 모델의 개발 보다는 모델 선택이나 모델 조합과 같이 여러 모델들을 효과적으로 활용해서 사용자의 만족을 높이려는 신뢰성 연구가 있어 왔으며 이러한 연구들은 특정 비교 척도들을 기반으로 수행 된다. 그러나 어느 모델이 믿을 만한 예측을 할지, 그리고 모델 별 가중치를 어떻게 할당하여 조합해야 좋은 예측 값을 얻을 수 있을 지를 식별하는 것은 쉬운 일이 아니며, 부적절한 모델 선택과 조합으로 인한 부정확한 신뢰성 예측은 비용과 스케줄의 초과를 유발한다.
본 연구에서는 신뢰성 실무 담당자들에게 테스트 중간 단계부터 개선된 소프트웨어 신뢰성 예측 결과를 제공하는 것을 목표로 한다. 이의 선행 단계로, 기존 연구들에서 활용하고 있는 과거 관측치상의 적합도 척도와 예측 척도간의 관계를 이해하기 위한 대규모의 실험을 수행한다. 이들 척도들에 대한 실험에서 우리는 기존 적합도 척도 (Goodness-of-fit criterion to the past ob-servation) 의 불완전성을 보였고 특히, 테스트 중간 단계에서 적합도 척도만을 고려했을 때의 신뢰성 예측에서의 위험성을 확인하였다. 이는 적합도 척도에 기반한 기존의 모델 선택이나 조합 방법들이 신뢰성 모델들의 예측 성능을 적절히 반영하지 못하고 있으며, 이러한 부적합한 척도 적용은 소프트웨어 신뢰성 예측에 부정확한 결과를 초래함을 의미한다.
본 연구에서는 척도 규칙들을 테스트 상황에 맞게 적용하여 예측 정확도를 향상시키는 적응 기준 트리 기반의 모델 조합 기법을 제안한다. 제안한 적응 기준 트리는 예측에 유용한 척도들만을 경험적으로 찾고 그들의 공동 영향 (Joint Effect)을 고려한 새로운 척도 규칙들을 생성해 낸다. 생성 된 트리는 각 신뢰성 모델들에 예측 자신감 (Prediction Confidence) 값을 할당하고 이 예측 자신감 값을 기준으로 다양한 모델 조합들이 검토 된다. 결국, 최적의 조합 모델이 소프트웨어 신뢰성 예측을 위해 사용된다. 36개의 신뢰성 데이터 세트와 13개의 신뢰성 모델을 이용한 교차 검증 기법 (Leave-one-out cross validation) 기반의 실험을 수행하였고, 여러 예측 척도 관점에서의 평가한 결과, 제안한 모델은 기존의 방법들보다 보다 안정적인 신뢰성 예측 결과를 보였고 여러 테스트 구간에서 예측 정확도를 향상 시킬 수 있음을 확인하였다. 즉, 제안한 기법은 상황에 맞는 척도 규칙들을 생성함으로써 신뢰성 실무자들에게 테스트 중간단계부터 보다 정확하고 안정적인 소프트웨어 신뢰성 예측을 할 수 있도록 기여할 수 있다.
