Support vector machine (SVM) and artificial neural network (ANN) have been the the most representative pattern recognition algorithms in machine learning history. Based on different backgrounds, the two algorithms exhibit their own unique characteristics. SVM shows good generalization properties, while ANN exhibits adaptive nature and compact model representation.
With careful inspection of the two properties, it can be speculated that, when SVM and ANN are combined, opposite attributes of the two can mutually benefit the shortcomings each other. The aim of this thesis is to devise a new type of classification algorithm by successful combination of SVM and ANN, thereby, uniting the virtues of the two methods.
The fusion of SVM and ANN was made possible by connecting structural similarities. The SVM structure was modified to take a form of ANN, while the objective function was maintained in order to preserve the properties of SVM. Training process of the new formulation can be viewed as a special form of backpropagation, where the gradient of the output weights were calculated by sequential minimal optimization (SMO). This implies that the combination of SVM and ANN are accomplished not only in formulation, but also in implementation.
Results indicated that the proposed method has powerful generalization ability and data adaptive attribute. Local flexibility can be controlled by the sigmoid parameter of the activation functions, whereas consistency is governed by the range of margin. Also, dimension reduction property of ANN is observed.
Evaluation on high-dimensional small-sample data suggests that our algorithm can be viewed as a SVM with data dependent universal kernel. An alternative view of the algorithm is an ANN with enhanced generalzation property based on firm theoretical background.
Support Vector Machine(SVM)과 인공신경회로망(ANN)은 기계학습 분야에서 가장 널리 이용되는 분류 알고리즘이다. 두 알고리즘은 각기 다른 이론적 배경으로부터 기인하여, 서로 다른 고유한 특성들을 가지고 있다. SVM은 뛰어난 일반화능력(Generalization Ability)을 가진 반면, ANN은 자료종속적인 경향과 압축적인 구조 구현을 가능케 한다.
두 알고리즘의 특성들을 잘 분석해 보면 각 알고리즘의 특성들은 상호보완적이며, 이 특성들을 결합하여 더욱 강력한 분류 알고리즘의 개발이 가능하다. 본 논문은 SVM의 일반화능력와 ANN의 자료종속변환 (Data Dependent Feature Mapping) 특성을 결합하여 두 알고리즘의 장점들만을 취하는 새로운 분류 알고리즘을 제시한다.
소개된 알고리즘은 SVM과 ANN의 구조적 유사성을 기반으로 해서 SVM을 ANN 구조로 변환을 하되, SVM의 최적화 함수를 보존하여 SVM의 일반화 특성을 그대로 유지한다. 구현에 있어서는 ANN 훈련에 이용되는 연전파 알고리즘을 변환하여 SVM 훈련에 이용되는 SMO 알고리즘과 통합을 취한다. 이는, 두 알고리즘이 이론적일 뿐만 아니라 구현상에 있어서도 통합 되었음을 암시한다.
실험 결과, 제시된 알고리즘은 SVM과 ANN의 좋은 특성들만을 그대로 가지고 있으며, 강력한 분류 성능을 보인다. 기존의 ANN보다 월등한 일반화 능력을 가지고 있으며, 일반적인 가우시안 커널 SVM 보다 좋은 자료종속 특성을 보여준다. 고차원, 적은 개수의 훈련 데이터(high dimension small sample) 상황에서의 좋은 분류 성능은 이 알고리즘이 만능커널(universal kernel)로서의 능력이 있음을 보인다. 또한, 입력 자료의 차원 압축 특성을 보임으로서 효과적인 차원압축(dimension reduction) 알고리즘으로서의 잠재적인 가능성을 가지고 있다.
