The output of a classifier is usually determined by the value of a discriminant function and a decision is made based on this output which does not necessarily represent the posterior probability for the soft decision of classification. In this context, it is desirable that the output of a classifier be calibrated in such a way to give the meaning of the posterior probability of class membership. This paper presents a new method of postprocessing for the probabilistic scaling of classifier`s output. For this purpose, the output of a classifier is analyzed and the distribution of the output is described by the beta distribution parameters. For more accurate approximation of class output distribution, the beta distribution parameters as well as the kernel parameters describing the discriminant function are adjusted in such a way to improve the uniformity of beta cumulative distribution function (CDF) values for the given class output samples. As a result, the classifier with the proposed scaling method referred to as the class probability output network (CPON) can provide accurate posterior probabilities for the soft decision of classification. To show the effectiveness of the proposed method, the simulation for pattern classification using the support vector machine (SVM) classifiers is performed for the University of California at Irvine (UCI) data sets. The simulation results using the SVM classifiers with the proposed CPON demonstrated a statistically meaningful performance improvement over the SVM and SVM-related classifiers, and also other probabilistic scaling methods. However, sometimes the output of CPON is small: that is, small confidence for the class and it makes hard to decide the class. We call this sample which has a small CPON output as an uncertain sample and we try to find the uncertain samples and reconsider about decision of uncertain sample`s class. From the simulation result of selecting uncertain sample we can see that the proposed method is effective.
입력 패턴을 분류하는 방법에는 대표적으로 판별함수의 출력 값을 이용해 출력 값이 큰 클래스를 입력 패턴의 클래스로 결정짓는 방법과, 입력 패턴이 클래스에 속하게 될 사후 확률 값을 계산해 확률 값이 큰 클래스를 입력 패턴의 클래스로 결정하는 방법들이 있다. 하지만, 판별함수를 이용하는 분류기는 출력 값이 확률 값을 나타내지 못한다는 단점이 있고, 사후 확률 값을 출력하는 분류기는 사후 확률 값을 출력하기 위해선 많은 계산 량을 필요로 함에도 불구하고 정확도가 판별함수를 이용하는 분류기보다 좋지 못하다는 단점을 가지고 있다. 이런 문제를 해결하기 위해, 이 논문에서는 각 클래스에 대한 판별함수의 값을 각 클래스에 속하게 될 사후 확률 값으로 변화시키는 새로운 방법론을 제시하였다. 분류기의 출력 값은 베타 분포로 해석이 가능하기 때문에, 출력 값의 평균과 분산을 이용하여, 베타 분포의 모수들 $(\alpha, \beta)$ 을 구하고, 더 정확한 모수를 구하기 위해, 누적분포함수 (CDF) 값 의 분포는 균등분포 (uniform distribution) 를 따른다는 사실을 이용하여, 베타 누적분포 값의 분포가 균등분포를 따르도록 모수들을 조율하였다. 이런 과정을 통해 정확한 베타 분포의 모수를 알게 되면, 누적분포함수 값을 이용하여 입력 패턴이 각 클래스에 속하게 될 사후 확률 값을 구할 수 있게 된다. 이런 방법을 통해, 판별함수의 출력 값을 확률 값으로 변형시키는 새로운 방법인 CPON (Class Probability Output Network) 이라는 방법론을 제시하였다. 제시된 방법의 효과를 확인하기 위해, UCI (University of California at Irvine) data에 SVM (Support Vector Machine), SVM 관련 방법론, 그리고 SVM을 이용한 CPON방법론을 적용해 패턴분류결과를 분석해 보았다. 실험 결과로부터 새롭게 제시된 방법인 CPON이 기존의 SVM이나 SVM 관련 방법론들 보다 패턴 분류 성능이 뛰어남을 확인할 수 있었다. 하지만, CPON의 출력 값은 확률 값을 의미하므로, CPON의 출력 값에 기반을 두어 결정된 클래스의 신뢰구간과 신뢰구간이 중복되는 클래스가 있다면, 이 클래스 역시 입력 패턴이 속한 클래스가 될 가능성을 가지게 되고, 이 클래스와 CPON의 결과로부터 결정된 클래스에 대해서는 다시 한 번 분류를 하게 될 필요성을 가지게 된다. 이러한 클래스를 불확실한 클래스라 부르고, 불확실한 클래스가 존재하는 입력 패턴을 불확실한 패턴이라고 부른다. 우리는 불확실한 패턴과 그 패턴에 대한 불확실한 클래스를 찾아 상향처리 (bottom-up), 하향처리 (top-down) 방법을 적용하여 다시 한 번 분류를 하였다. 이 방법론 역시 성능을 확인하기 위해 UCI data에 대하여 적용하여보았고, 실험 결과로 부터 대부분의 잘못 분류된 입력 패턴이 불확실한 패턴으로 구분되어지는 것으로부터 불확실한 패턴을 찾는 방법론이 의미가 있음을 알 수 있었다. 분류 성능에서도 대부분의 data에 대하여 CPON의 성능보다 좋아지는 것을 볼 수 있었지만, 몇 몇의 data에 대해서는 성능이 CPON과 비슷하거나 오히려 좋지 못하다는 것을 확인할 수 있었다. 이로부터 불확실한 패턴에 대해 분류 과정을 다시 적용하는 방법에 대한 더 많은 연구가 필요하지만, 연구해 볼 가치가 있음은 확인할 수 있었다.
