Support Vector Machines (SVM) have received much attention in the past decade but mainly considering the case of full confidence in the training data. In this thesis we discuss two approaches for adapting the SVM to training data uncertainty, depending on two types of uncertainty: Gaussian noise for the input data and confidence level in the labelling of the data.
We introduce two variants of the Fuzzy Support Vector Machine (FSVM) algorithm, where the basic idea is to assign weights to training samples depending on their position in the feature space, mapping the values of a function based on the Kernel Target Alignment (KTA) onto unit scale, using different types of mapping functions. We explain our choice for the generalized logistic function and also modify the FSVM algorithm to perform faster by reducing the dimension of the parameter search.
In the second part, we extend the Total Support Vector Classification (TSVC) algorithm to training data with Gaussian noise. We detail the connection between the multivariate Gaussian distribution and the contour ellipsoids of its function, and use the ellipsoid as a sub-space within which we iteratively optimize the solution.
We compare the different approaches with synthetic and real data sets and show that our approaches perform, to some extent, better, by yielding lower test misclassification rates, than the original SVM algorithm, and the original FSVM and TSVC algorithms.
패턴 인식 분야의 꾸준한 발전과 함께 최근에는 SVM(Support Vector Machine)이 등장하여 큰 주목을받고있다. 하지만 SVM는 주로 훈련집합에 대한완전한 정보가 있는 경우를 고려한다. 본 논문에서는 불확실성을 가진 훈련 집합에 대하여 SVM을 적용시키기 위한 두 가지 접근 방법을 논의한다. 불확실성은 두 가지 종류의 다른 불확실성에 의해 영향을 받는데, 입력 데이터에 대한 가우시안 잡음과 부류 표지의 신뢰수준이다.
우선 FSVM(Fuzzy Support Vector Machine) 알고리즘의 두 가지 변형된 형태를 소개한다. 기본 아이디어는 다른 종류의 매핑 함수들을 사용하여 KTA(Kernel Target Alignment)에 기반한 함수의 값들을 단위 크기 위에 매핑하면서 특징 공간에서 자신들의 위치에 의존적인 훈련 샘플들에 가중치를 할당하는 것이다. 일반화된 로지스틱 함수에 대한 선택을 설명 하고 매개 변수 검색의 차원을 낮춤으로써 FSVM 알고리즘이 더 빠르게 작동하도록 수정한다.
두 번째로, 가우스 잡음이 있는 훈련 집합에 TSVC(Total Support Vector Classification) 알고리즘을 확장한다. 다변량 가우시안 분포와 함수의 contour ellipsoids 사이의 연결을 상세히 설명하고, 부분 공간으로서 ellipsoids를 사용한다. 이 때 부분 공간 안에서 반복하여 해를 최적화 시키게 된다. 가상 데이터와 실제 데이터를 통해 두 가지 접근 방법을 비교하고 논문에서 사용한 접근법들이 기존의 SVM, FSVM, TSVC 알고리즘 보다 오류율을 낮추고 좋은 분류 결과를 도출함을 보인다.
