Architectural evaluation to determine software architecture's fitness with respect to its desired quality attributes is one of the most important issues in architecture-based software development. The reason is that there are usually more than one quality attribute involved in a system, and the knowledge of the benefits and drawbacks of different architectural structures with respect to different quality attributes is not yet an exact science. Decisions among a number of inter-dependent design choices that is related to a range of quality attributes are often taken on intuition, relaying on the experience of many stakeholders.
It has been two basic classes of evaluation techniques, questioning and measuring, for architecture evaluation. The questioning techniques generate qualitative questions to be asked of architecture. This class includes scenarios, questionnaires, and check lists. Measuring techniques suggest quantitative measurements to be made on architecture. This class includes metrics, prototypes and formal methods. However, these methods are considered complementary techniques to questioning techniques. Most of the considered architecture analysis methods use scenarios. Architecture Trade off Analysis Method (ATAM) is well known mature method proposed by Software Engineering Institute (SEI) among several scenario-based methods. The ATAM provides a principle way of understanding software architecture's capability with respect to multiple competing quality attributes and recognizes the necessity of a trade-off among multiple quality attributes. However, ATAM does not provide any guidance for understanding economic trade off that is the biggest ones in large, complex systems.
To address the need for economic decision making in the ATAM Cost Benefit Analysis Method (CBAM) is proposed. It builds on the ATAM to model the costs and the benefits of architectural design decisions and is a means of optimizing such decisions using quantitative approach. However, there are some well-known limitations within CBAM. It is basically based on the consensus of the stakeholders throughout long steps and activities. Therefore, it has still a number of uncertainties and it requires active discussion and clarification amongst the stakeholders. The long and tedious participation of stakeholders make the CBAM the heavyweight process that is practical difficulty. The increase of the number of voting exercise results in rise on the uncertainties.
To be efficient cost benefit analysis for architecture evaluation, we need to minimize the participation of stakeholders throughout the process. In addition, it is necessary to quantify the subject data from stakeholders instead of voting process in several steps to reduce uncertainty. To do this, we define a systematic cost benefit analysis method using an Analytical Hierarchy Process (AHP), a MCDA method that is popular with industrial engineering and economics. It minimizes a number of steps and activities by using several AHP applications such as pairwise comparison that is less sensitive to judgmental errors common to techniques using absolute assignment and makes the complex steps automatic. Especially, pairwise comparison to determine the elements in the decision matrix reduces the uncertainty that is resulted from the voting in the CBAM. In addition, this new analysis technique also provides guidelines how to determine elements in decision matrix for cost benefit analysis when applying AHP to economic analysis for software architecture evaluation with ATAM.
아키텍처 기반의 S/W 개발에 있어서 아키텍처 평가는 해당 시스템의 이해관계자(Stakeholder)들의 품질속성(Quality attribute)요구 사항을 얼마나 잘 만족하는 가를 결정하는 중요한 이슈중의 하나이다. 이는 하나의 시스템에 포함된 품질 속성이 여러 개고 각기 다른 품질 속성에 대해 후보 아키텍처들의 장점과 단점을 정량적으로 알아내는 것이 쉽지 않기 때문이다. 대부분의 경우 여러 이해관계자들의 경험에 의존한 직관과 동의를 통해 결정된다. 그럼에도 불구하고 그 중요성과 함께 다양한 아키텍처 평가 방법이 알려져 있고 실제 사용되고 있다. SEI에서 개발한 아키텍처 평가 방법인 ATAM은 시나리오 기반의 가장 잘 알려지고 성숙한 방법이다. ATAM은 여러 품질 속성에 대해 각각의 후보 아키텍처의 능력과 품질 속성들 간의 상층관계(trade-off)을 이해하는데 뛰어나다. 그러나 ATAM은 크고 복잡한 시스템에 있어서 가장 중요한 경제적인 상층관계(economic trade-off)을 고려하지 않고 있다. 이러한 경제적인 상층관계를 고려하여 ATAM을 보완하기 위해 나온 것이 CBAM(Cost Benefit Analysis Method)이다. CBAM은 정량적인 방법을 사용하여 ATAM을 보완하는 좋은 방법이다. 그러나 CBAM은 기본적으로 많은 단계와 단계별 수행해야 할 일이 많고 이해 관계자들의 투표를 통한 동의를 기반으로 하고 있어서 실용성이 어려운 무거운(heavyweight) 프로세스로 알려져 있다.
본 연구에서는 기존에 제안된 비용대 이익 평가 방법인 CBAM에 대해 조사하고 잘 알려진 문제점들을 소개한다. 또한 이러한 문제점들을 해결하기 위하여 계층적 의사결정도구인 AHP(Analytic Hierarchy Process)를 S/W 아키텍처 평가를 위한 비용 대 이익 분석에 사용함으로써 주관적 판단에서 오는 불확실성과 이해관계자들의 많은 참여를 줄이므로 시간 측면에서의 개선된 기법을 보여주고 있다. 특히 AHP의 쌍대 비교(Pairwise comparison) 사용하여 CBAM의 문제점들을 개선하였다. 먼저 여러 품질 속성들의 비즈니스 목표(Goal) 입장에서의 Weighting을 정함에 있어서 투표대신에 사람들의 주관적인 판단 에러에 덜 민감한 쌍대 비교를 통해 구하였다. 또한 Utility(Benefit)을 구함에 있어서 CBAM에서 사용하는 Utility-response curve를 사용하는 대신 Decision matrix의 performance value를 품질 속성에 따른 여러 후보 아키텍처의 상대적 서포트를 사용함으로 간단하게 대체하였다. 이를 통해 복잡한 절차들이 축소됨으로 CBAM의 복잡한 절차를 개선하였다.
또한 본 연구에서는 제안된 방법을 검증하기 위해 소형의 프로젝트에 대해 아키텍처 평가 기법인 ATAM을 적용한 후 이를 경제적인 비용 대비 이익 분석을 위해 CBAM과 제안된 방법을 적용한 후 몇가지 관점에서 비교 분석하였다. 제안된 방법에 의해 성능은 CBAM과 비슷하게 유지함을 볼 수 있었다.
추후 과제로는 CBAM 보다 더 좋은 성능을 내기 위하여 CBAM에서의 utility-response curve 개념을 performance value안에 고려할 수 있는 방법에 대한 연구가 필요하며 또한 Cost Benefit 이외의 두가지 이상의 Business goal을 동시에 고려했을 때의 본 연구의 성능에 대한 연구가 병행하여 진행되어야 한다.
