This thesis introduces a unified method of choosing the most explanatory and significant multiway partitions for classification tree design and analysis. The method is derived based on the proportional-reduction-in-impurity (PRI) measure of association, which is proposed to extend the proportional-reduction-in-error (PRE) measure in the decision-theory context. For the method derivation, the PRI measure is analyzed to characterize its statistical distribution and association properties which are used to handle consistently the subjects of feature formation, feature selection, and feature deletion required in the associated classification tree construction. The PRI criterion is applied to a numerical problem for illustration.
본 논문은 나무구조형 분류규칙을 다룬다. 나무구조는 설명변수와 분류변수에 대한 관측값들로 구성된 자료집합에 기초하여 반복적으로 설명변수 공간을 분할하여 만들어진다. 나무구조형 분류규칙의 생성에는 다음의 세 단계가 요구된다.
(1) 분지(split)의 선택
(2) 최종마디 (terminal node)의 할당
(3) 클래스 번호 (class label)의 할당
본 논문에서는 범주형 설명변수로 국한하여 위의 세 단계를 일관성있게 처리할 수 있는 방안을 제시하였다. 분류문제를 일반적인 의사결정문제로 파악하여 손실함수와 관련하여 논의를 전개하였다. 특히, 나무구조를 복합(또는 확률적) 의사결정규칙으로 보고 중심 (centroid), 불순도 (impurity), 비례감소불순도측도 (Proportional-Reduction-in-Impurity measure, PRI)등의 개념을 정의하였다. 이러한 개념을 바탕으로 나무구조 생성의 각 단계를 일관성있게 다루었다.
첫째, 분지의 선택단계에서는 PRI를 최대화시키는, 그리고 동시에 가장 유의성있는 설명변수를 택하여 분지를 한다. 둘째, 최종마디여부의 결정은 전절단 (prepruning) 또는 설명변수 제거에 의해 더 이상 설명변수가 남아있지 않거나 PRI 값이 더 이상 유의적이 아닐 때 이루어진다. 마지막으로, 클래스번호의 할당은 마디의 중심을 할당하는 것으로 마무리된다.
분지의 선택에서는 설명변수의 선택뿐 아니라 설명변수의 재형성(feature formation)도 고려된다. 이 과정은 집락분석의 k-means clustering과 유사한 절차를 통해 달성하였다. 여기서 k값의 결정은 p-값 (p-value)을 기초로 정해진다.
최종마디여부의 결정은 하향식의 정지규칙 (stopping rule)의 적용에 의해, 또는 교차확인법 (Cross Validation, CV)을 사용하는 절단 (pruning)에 의해 결정하는 것이 일반적인데, 본 논문에서는 절단 대신에 전질단을 도입하였다.
클래스 번호의 할당에서는 나무구조를 복합의사결정규칙으로 파악함으로써 자연스럽게 마디의 중심이 할당된다. 이러한 마디의 중심은 사용된 손실함수에 따라 정해진다. 마디의 중심대신에 다수결규칙(plurality rule)에 의해 하나의 class번호가 할당될 수도 있다.
이러한 논의를 거쳐 제곱오차 손실함수 (squared error loss fuction) 와 로그우도 손실함수 (log likelihood loss fuction)인 경우에 대해 나무구조형 분류규칙을 적용하였고 각각 수치예를 다루었다.
