The evaluation problems of information system project are multi-criteria decision-making problem. The evaluation of IS projects are an important business activity whose importance has been recognized and repeatedly emphasized by many researchers as well as IS managers. The optimal selection of a set of IS projects from candidate project proposals is very important to their own organization. Owing to its strategic impact, the prior research has addressed many aspect of IS project selection, including improved methods to measure costs and benefits of IS and the development of models and techniques to select the best set of IS projects. In order to solve these problems, lots of methods have been developed. In the literature, the decision technique commonly used to select IS projects is based on scoring methods, ranking methods, cost/benefits analysis, risk analysis, multi-criteria decision-making or subjective evaluation methods. While scoring and ranking methods are intuitively simple, these methods do not ensure resource feasibility and are also unable to explicitly account for project interdependencies.
Existing methods for IS projects selection do not reflect interdependence property among criteria and candidate alternatives. However, many real worlds problems have network structure or interdependence property among considered criteria or alternatives. It is very important to reflect this interdependence property for IS project evaluation. Considering these interdependencies among criteria provides valuable cost savings and greater benefits to organization. By selecting interdependent projects, valuable IS resources can be shared among IS projects, thus reducing the total resource expenditures.
Among the proposed methodologies of multi-criteria decision-making, goal programming is widely used for IS project evaluation under resource feasibility. In this paper, we suggest a multi-criteria decision-making model for evaluation of interdependent IS projects under resources constraints.
When we consider the problem of project evaluation, we need to collect an expert group discussion because it is very dangerous to determine the criteria or the degree of interdependence for considering candidate projects by one or two decision maker(s). The Delphi method is a systematic procedure for evoking expert group opinion. In order do lessen the partiality or the prejudice of individual decision maker and determine the degree of interdependence, we suggest a Delphi method or expert group interview in this paper. We also suggest an algorithm for check inconsistency of decision maker's information using a Maximum Likelihood Estimator.
The proposed method is applied to the case study of Korea Telecom for the evaluation of Telecommunication Management Network Operation Systems. We showed the reality and predominance of the proposed model in comparison to the traditional methods by applying to the real world problem of Korea Telecom.
정보시스템을 평가하고 선택하는 것은 고려되는 대안 후보 프로젝트들을 명확히 하고 평가요소 또는 기준들을 고려하여, 대안 프로젝트들에 대하여 최적의 대안을 선택하는 것이다. 정보시스템 평가 요소들은 비용적인 면, 이익측면, 시간, 수행인력, 자원의 제약, 정치적 요인 등 다양한 고려 요소들을 가지고 있다. 정보시스템 관리자는 이러한 여러 가지 요소들을 반영하여 고려되는 대안들 중에서 가용한 자원의 제약하에서 최대의 이익을 가져오는 대안을 선택하는데 관심이 있다.
이러한 문제를 해결하기 위한 연구가 많이 진행되어 왔다. 예를 들면 점수법, 우선순위법, 비용/혜택법, 다기준 의사결정법, 계층적 해석과정법, 수리계획법 등이 사용되어왔지만 이러한 전통적인 방법들은 고려 요소들간에 또는 대안들간에 상호 독립성을 가정하고 있다. 이러한 독립성의 가정은 문제해결을 간단하고 쉽게 정형화 할 수 있다는 데에서 널리 적용되어 왔다, 그러나 실제 문제들은 고려하는 기준들이나 대안들 사이에서 상호 영향을 미치거나 의존적인 관계를 갖는 경우가 많다. 이러한 상호의존적 관계를 고려하는 것은 이익측면이나 비용측면, 위험요소 측면에서 조직에게 많은 이득을 가져다 줄 수 있다. 예를 들면 한 프로젝트를 수행함으로서 얻어지는 결과는 다른 프로젝트를 수행하는데 있어서 HW적인 면이나 SW적인 면 등 기술적인 면에서 서로 영향이나 상호 보완적인 관계를 갖는 경우가 많다. 두 개의 프로젝트를 동시에 고려함으로 인하여 기술적인 부분, 자원, 혜택적인 부분의 공유를 통하여 비용 절감의 기회가 있고 혜택면에서 시너지 효과를 조직에게 가져다 줄 수 있다. 따라서 이러한 상호 의존적 영향관계를 고려한 방법론 개발이 필요하다.
본 연구의 목적으로는 첫째 정보시스템 평가에 대한 기존의 연구를 검토하여 방법론들의 장점, 한계를 명확히 하고, 둘째 상호 의존적 관계를 고려하여 여러개의 기준하에 정하여진 자원하에서 최적의 대안을 선정하는 다기준 의사결정 모델을 제시하고 있다. 셋째로 제시된 방법론을 한국통신의 통신 운용망 시스템 평가 사례에 적용하여 시스템 평가 과정 및 의사결정 과정을 보여 실제 적용하는 데 도움이 되도록 하고 있다. 또한 정보시스템 평가에서는 개인적 판단에 따라 많은 결과가 달라짐으로 인하여 델파이나 전문가 집단 의견을 통하여 자료를 도출하는 것을 제안하고 있으며 개인의 정보에 대한 일치성을 검토하기 위한 일치성 알고리즘을 제시하고 있다.
본 논문의 기여도로는 먼저 이론적 면에서 기존의 독립성을 가정한 연구에서 의존성, 또는 상호 의존적 관계하에서 문제를 해결하는 시도를 하였다. 방법론적인 면에서는 기존의 연구를 바탕으로 정보시스템 프로젝트 평가를 위하여 자원의 제약하에서 최적의 대안을 선정하는 다기준 의사결정 모델을 제시하고 있다. 또한 실제 사례에의 적용을 통하여 전통적인 방법과의 비교와 함께 필요성과 우위성을 보여주고 있다. 제시한 이방법론은 정보시스템 관리자들에게 주어진 자원의 변동과 목표이익의 변화 등에 따라 선택되어지는 대안들이 달라지는 민감도 분석도 같이 수행할 수 있어 유용하리라 판단된다. 향후 과제로는 적용과정에서 개인의 주관적인 판단을 좀더 합리적으로 도출하고 개인의 편견을 줄일 수 있는 방법개발에 주력해야 할 것이다.
