Data Envelopment Analysis (DEA), a non-parametric productivity analysis, has become an accepted approach for assessing efficiency in a wide range of fields. Despite of its extensive applications, some features of DEA remain unexploited.
DEA is good at estimating "relative" efficiency of a DMU, it can tell us how well we are doing compared to our peers but not compared to a "theoretical maximum." Thus, to measure of efficiency of new DMU we have to develop DEA previously at same method with the data of used DMU. Also we can not predict the efficient level of new DMU. Second, because DMUs are directly compared against a peer or combination of peers. DEA offers no guide where relatively inefficient DMU improve. Third, DEA identifies peer DMUs and targets for inefficient DMUs, but it doesn't provide the stepwise path for improving the efficiency of each inefficient DMU considering the difference of efficiency.
In order to overcome this limitation of DEA, I suggest to a new methodology. The methodology I proposed is a hybrid analysis utilizing the machine learning and DEA, and it can be summarized as follows.
First, I apply a DEA to evaluate the efficiency of the DMUs with their multidimensional inputs and outputs. After that, I clustered the DMUs together through the tier analysis, which recursively apply the DEA to the remaining inefficient DMUs, and then generated the DMU classification rules using the C4.5, the decision tree classifier, with the DMU tiers that had identified by the tier analysis.
Second, DEA offers no guidelines where relatively inefficient DMUs improve since a reference set of an inefficient DMU consists of several efficient DMUs. Hence, I utilized a self-organizing map (SOM), which is one of clustering tools for grouping similar DMUs according to inputs, for the inefficient DMU to select one efficient DMU in a reference set as a benchmarking target. With the tiers identified by the tier analysis, it could provide the guidelines for stepwise improvements of inefficient DMUs.
In conventional DEA, it only (1) identify inefficiencies, (2) identify comparable efficient units, (3) locate slack resources. But, I provide more information about discriminant descriptors among input and output variables, which affects the efficiency of DMUs, and about rules for classifying new DMUs, and about stepwise improvement path.
I applied the proposed methodology to evaluate the efficiency of SI Projects and Life Insurance Companies.
다수의 투입물을 변환시켜 다수의 산출물을 제공하는 조직들의 상대적 효율성을 측정하는 문제는 조직의 현상을 측정하여 경쟁력 제고를 위한 방안을 마련한다는 차원에서 매우 중요한 사안이다. 조직의 상대적 효율성을 측정하는 방법으로서의 자료봉합분석(DEA : data envelopment analysis)은 Charnes, Cooper & Rhodes의 연구에서 최초로 제시되어 최근 다양한 분야에 활발히 적용되고 있다.
자료봉합분석은 의사결정단위(DMU : decision making unit)라고 불리어지는 조직의 효율성을 유사한 투입·산출 과정을 갖는 다른 조직과 비교하여 상대적인 기술적 효율성 지수로서 평가하는데, 투입 요소(input factors)와 산출 요소(output factors)에 대한 가격 정보가 필요하지 않고, 사후적이며 경험적인 자료를 이용할 수 있으며, 모수 추정에 필요한 가정이 필요하지 않는 등 여러 가지 장점을 갖고 있다. 이러한 DEA방법론은 주로 다수의 투입 요소(Multiple inputs)와 다수의 산출 요소(Multiple outputs)가 존재하며, 요소들의 가격 정보가 알려지지 않았거나 불완전한 조직, 예를 들어, 병원, 학교 및 군대 등의 공공 분야와 은행, 보험 등의 금융서비스 분야의 조직 효율성 평가에 적용되어 왔다.
이렇게 자료봉합분석이 여러 분야에 적용되는 것은 여러 가지 이유가 있다. 첫째, 투입과 산출 요소에 대한 어떤 기본적인 가정이 필요하지 않다는 점이다. 둘째, 하나의 의사결정단위에 대해 다수의 투입 요소와 다수의 산출 요소를 동시에 고려할 수 있다는 점이다. 셋째, 효율적인 의사결정단위들과 비효율적인 의사결정단위들을 식별하는 절차를 제공하는 동시에 비효율적인 의사결정단위들 각각에 대해서 부족한 부분과 양을 제시해 준다는 점이 그 이유이다.
그러나, 자료봉합분석은 다양한 분야의 문제에 대한 현실적 적용에 있어 몇 가지 단점이 있다. 첫째, 자료봉합분석은 상대적 효율성만을 측정한다는 약점이 있다. 어떤 의사결정단위가 다른 의사결정단위들과 비교하여 얼마나 상대적으로 효율적인지는 알려주지만 이론적 최대값 (theoretical maximum)을 구해낼 수도 없고 이와 비교도 가능하지 않다. 따라서, 새로운 의사결정 단위의 효율성을 평가하기 위해 앞에서 평가된 의사결정단위들과 함께 다시 자료봉합분석을 실행 해야만 한다. 또한 한번 더 자료봉합분석을 실행하지 않고서는 새로운 의사결정단위의 효율성을 예측할 수 없다. 둘째, DEA방법론 상대적으로 비효율적인 의사결정단위들이 개선해야 할 대상이 한 개 이상의 효율적인 의사결정단위들로 구성된 참조집합(Reference Set)으로 주어지기 때문에 구체적으로 어떤 의사결정단위를 타겟으로 하여 개선할지 가이드를 제공하지 않는다는 점이다. 마지막으로, 효율성의 크기에 따라 각각의 비효율적인 의사결정단위들의 효율성을 개선하기 위한 단계적인 개선 방향을 제공하지 못한다는 점이다.
이러한 DEA의 한계를 극복하기 위해 본 논문에서 제안한 방법론은 DEA와 기계 학습(machine learning)을 이용한 하이브리드 분석(hybrid analysis)이다. 이 방법론은 다음과 같이 요약된다.
첫째, 새로운 의사결정단위를 평가하기 위해, DEA를 이용하여 의사결정단위의 효율성을 평가하고, Tier analysis를 통해 의사결정단위들을 층별화한다. 그리고 나서 의사결정분류기(decision tree classifier)인 C4.5를 이용하여 의사결정단위들에 대한 분류 룰(classification rules)를 뽑아 낸다. 새로운 의사결정단위는 기존의 의사결정단위로 함께 다시 DEA를 실행할 필요 없이, 분류 툴을 통해 어느 등급에 속하는지 예상 할 수 있다.
둘째, 비효율적인 의사결정단위가 참조해야 할 하나의 참조집합, 즉 하나의 효율적인 의사결정단위를 찾기 위해서, Tier analysis를 통해 의사결정단위들을 층별화한 결과를 토대로 하여, 클러스터링 툴 (clustering tool) 중에 하나인 SOM(Self-Organization Map)을 이용하여 투입 요소의 특징이 유사한 의사결정단위들끼리 몇 개의 그룹군으로 분류한다. 이러한 SOM에 의한 의사결정단위들의 그룹군들과 DEA에 의한 Tier들을 통해 각 Tier에 있는 의사결정단위들이 하나의 벤치마킹 타겟을 결정할 수 있다.
마지막으로, SOM에 의한 그룹군과 Tier analysis에 의한 층별화된 의사결정단위들을 통해 비효율적인 의사결정단위가 효율성을 높이기 위한 단계적인 개선방향과 구체적인 관리상의 포인트도 제시해 준다.
본 논문은 상기에서 제시한 새로운 DEA방법론이 SI(system integration) 프로젝트와 생명보험사의 효율성을 평가하는데 적용하여 타당성을 검증하였다.
