In order to facilitate parameter optimization process in designing assistive robotic systems, such as EMG signal-based walking phase recognition system and human behavior patterns prediction system, in this paper is suggested a generalized parameter optimization methods for kernel-based pattern classification and agglomerative clustering.
First, a criterion for kernel parameter optimization is derived, and several theoretical results are reported. Specifically, a Fisher criterion function in a kernel feature space is derived, and then its relation to the ideal kernel and the empirical kernel target alignment is reported.
For more profound perspective on kernel parameter optimization, a notion of kernel is expanded; a generalized kernel function and some theoretical researches in the framework of a generalized kernel function are conducted. Specifically, it is shown that the generalized kernel function involves another nonlinear mapping that can be controlled by a parameter set of the corresponding kernel function. In conjunction with the Fisher criterion function, an application to kernel parameter optimization is presented. Experimental results on artificial datasets, benchmark datasets, and EMG datasets show that the method is promising.
Second, a study on agglomerative clustering is conducted. It is remarked that, for outlier detection, there was an attempt of Bayesian interpretation for IAFC, the clustering techniques in which a fuzzy concept is incorporated into competitive learning scheme. The partial interpretation on the decision process, however, was not based on a concrete theoretical basis. And, it was found that the assumption of conditional pdf in a complicated form makes the interpretation rather trivial. To fix this problem, Iterative Bayesian Fuzzy Clustering (IBFC) is proposed, and its Bayesian interpretation is conducted. It is noted that the decision and learning process of IBFC follows Bayesian minimum classification rule. Furthermore, a cluster validity index hinted from a Fisher criterion is proposed. As an application of parameter optimization via the proposed cluster validity index, a method for choosing number of cluster is presented and applied to Agglomerative IBFC (AIBFC).
For the purposed of learning human behavior patterns, AIBFC is incorporated into Fuzzy State Q-Learning (FSQL). Specifically, we suggest an approach for learning patterns of human behavior by amalgamating techniques of clustering and learning of sequence of actions into a single framework. The proposed algorithm, AIBFC-FSQL is capable of learning a sequence of actions on the basis of the structure discovered by the process of AIBFC.
Another application of AIBFC is an assistive software designed for dealing with behavior patterns data of the disabled, called Flexible Icon-based Assistive Software (FIAS). The icon set of the designed software is determined by a field study for some real end-users. And, based on user preference, the behavior data are grouped by the proposed AIBFC for recommending the user a proper icon sub-group.
본 연구의 기본 바탕에는 모두가 집착해 마지않는 눈에 보이는 공간에서의 경험적 방법론과 관련된 전략들은 그리 중요하지 않으며, 실제 내재된 프로세스가 수행되는 - 때로는 이론상으로 존재하는 - 공간에서의 냉정한 고찰만이 중요하다는 관점이 깔려있다. 본 논문에서는 두 대상 사이의 유사성을 정의하는 매개변수를 바라보는 기존의 관점을 벗어나, 보다 일반적인 관점에서 바라보는 새로운 틀에 관한 이론적인 연구를 바탕으로 매개변수의 최적화 방법론을 제시하고, 실제 시스템을 통한 철저한 검증을 수행한다.
패턴인식 알고리즘에서 매개변수는 이론적 바탕과 연결된 핵심요소이며, 개발자의 사전지식을 반영하고 시스템의 성능을 결정한다. 예를 들어, 신체가 불편한 노약자나 장애인이 독립적인 생활을 영위할 수 있도록 도와주는 지능형 주거공간 시스템 (HWRS-ERC, KAIST), 현재 EU 9개 연구단체가 공동연구중인 COGKNOW의 일과 알림 시스템에서는 사용자의 행동 패턴에 대한 자동 분류 및 학습이 매우 중요하다. 또한, 하지 장애인이 정상적인 보행을 할 수 있도록 도와주는 근전도 신호 기반 외골격 시스템에는 사용자의 약한 근전도 신호를 바탕으로 현재 의도하는 행동을 추정, 예측하는 알고리즘이 직접적인 시스템의 성능을 좌우한다. 두 경우 모두에서, 매개변수의 설정은 시스템의 성능을 결정하는 초석이 된다.
일부 매개변수의 최적화에 대해서는 이미 깊이 있는 연구가 진행되어 왔다. 예를 들면, Linear Discriminant Analysis의 projection vector는 Fisher Criterion Function이 최대화되도록 결정되며, Support Vector Machines의 projection vector는 margin이 최대화되도록 결정된다. Fuzzy Clustering 알고리즘들에서의 카테고리 개수는 cluster validity index라는 경험적 척도가 최대화 되도록 결정된다. 그러나, 위에서 제시한 사용자 행동패턴 인식, 근전도 기반 행동의도 인식과 같은 경우에는 데이터의 분포가 매우 복잡하기 때문에 기존의 방법으로 좋은 성능을 얻기 어렵다. 이러한 부분을 보완하기 위해 제안된 기법에는 커널 기반의 패턴 인식, 응집 클러스터링 방법 등이 있다. 두 가지 줄기 모두 기본 바탕에는 복잡한 데이터 세트를 하나의 다양체(manifold)로 가정하고, 부분적인 관점에서는 단순한 가정이 성립한다는 아이디어가 깔려있다. 문제는 이러한 기법들에서의 매개변수의 최적화 연구가 많이 진행되어 있지 않다는 점이다.
이에 본 연구에서는 Fisher criterion function관점에서 커널 기반의 패턴 분류방법과 응집 클러스터링 방법에서의 모든 매개변수 최적화를 위한 방법론을 제시한다.
먼저, 기존에 실제 계산이 불가능하다고 알려진 커널 함수의 숨겨진 Reproducing Kernel Hilbert Space에서 Fisher criterion function의 실제 계산방법을 유도한다. 그리고, 기존에 쓰여온 척도인 empirical target alignment가 유도된 함수의 특수한 경우임을 밝힌다. 또한, ideal kernel 행렬이 Fisher criterion function을 최대화 시키는 유일한 행렬형태임을 밝히고, 널리 쓰이는 Gaussian kernel function의 최적화에 관한 몇 가지 결과를 제시한다.
이어서, 유도된 Fisher criterion function의 사용을 위한 이론적 기틀을 마련한다. 커널 함수의 매개변수를 이산변수로써 보는 기존의 관념을 깨고, 이를 함수의 값으로 설정한다. 이 틀 안에서는 커널 함수의 파라미터는 사라지고, 알려지지 않은 어떤 함수가 존재하며, 기존의 커널함수의 개념을 포함한다. 이렇게 표현되는 일반화된 커널 함수 계산의 이면에는 이론적으로 우리가 조절할 수 있는 비선형 map과, 조절할 수 없는 비선형 map이 존재함을 밝힌다. 첫번째 map에서는 유클리디언 공간상의 N개의 점을 최소 N-1 차원의 공간으로 옮기는 것이며, 두번째 map에서는 이를 다시 Reproducing Kernel Hilbert Space로 옮기는 것임을 보인다. N개의 점에 의해 정의되는 첫번째 map의 개수는 무한대이므로, 여기서 정의되는 커널함수의 개수 역시 무한개이다. 이를 단 하나의 경우로 줄이기 위해, 주어진 데이터 쌍들을 이용하여 주어지지 않은 새로운 데이터 쌍의 커널함수 값을 계산하는 방법을 무게중심법과 linear span을 이용하여 유도한다. 이렇게 정의된 일반화된 커널 함수의 최적화에는 앞에서 유도한 Fisher criterion function과 이를 최대화 시키는 ideal kernel 행렬의 개념이 사용된다. 다만, 유한개의 데이터 세세트부터 만들어지는 ideal kernel 행렬을 만족하는 일반화된 커널함수의 개수는 무한대이므로, 특별히 ill-posed 문제를 해결하기 위한 regularization 기법을 도입한다. 유한개의 학습 데이터 세트를 이용하여 최적화된 커널 함수 값으로 우리의 눈앞에 드러나는 공간은 주어진 데이터 세트의 유사도에 의해 복잡하게 휘어진 형태로 보이게 되지만, Reproducing Kernel Hilbert Space상에서는 분리도를 최대화하는 매우 간단한 형태를 가지게 된다. 해결해야 할 것은 우리 눈에 보이는 공간에서의 복잡도가 아니라, 이론적으로 존재하며 실제 성능에 영향을 미치는 프로세스가 수행되는 공간에서의 복잡도인 것이다. 이러한 최적화된 커널 함수의 우수성은 Support Vector Machine과 Kernel Nearest Neighbor Classifier와 결합되어 여러 가지 benchmark 테스트 데이터 세트와 근전도 기반 보행패턴 예측을 위한 데이터 세트에 의해 검증된다.
마찬가지로 Fisher criterion function은 응집 클러스터링의 매개변수 최적화에도 적용될 수 있다. 이것의 검증에 앞서 응집 클러스터링의 한 종류인 베이시안-퍼지 기반 클러스터링 알고리즘에 대한 이론적인 고찰을 수행한다. 먼저 기존의 경험적 방법론에 의존하는 퍼지 클러스터링에서의 의사 결정 전략을 수정하고, 수정된 전략은 Bayesian minimum risk classification rule을 따름을 보인다. 이렇게 이론적 기틀이 바탕이 된 클러스터링 알고리즘은 응집 클러스터링 알고리즘으로 쉽게 확장될 수 있다. Fisher criterion function의 아이디어를 이용하여 응집 클러스터링을 위한 cluster validity index를 유도하며, 이를 응집 클러스터링 알고리즘과 결합하여 분리도 관점에서 최적의 클러스터 분류가 가능한 알고리즘을 제안한다.
제안된 클러스터링 방법론은 퍼지 Q-learning과 결합하여 불확실성을 내재한 sequence의 학습이 가능한 알고리즘으로 표현된다. 이로써 센서에 의해 축적된 인간의 행동 기록은 자동으로 카테고리가 나뉘어 지고 카테고리의 개수에 대응하는 차원의 공간의 벡터로 학습된다. 현재 사용자가 어떠한 행동을 했다고 알려진 경우, 현 시각에서 취득된 센서의 정보를 바탕으로 각 모델에 대한 확실성 값으로 표현되는 벡터가 생성되며, 이는 기존 행동패턴에 의해 학습된 벡터에 사영되는 형식으로 사용자가 다음으로 취할 행동의 확실성에 대한 평가가 이루어지게 된다. 제안된 알고리즘의 성능은 실제 장애인의 2주간의 행동을 기록한 INT 데이터 세트와, 1년 동안의 연령별 TV 시청 history를 기록한 TV 데이터 세트에 의해 평가된다. 실험결과 제안한 알고리즘은 기존의 Q-learning 기법, probabilistic graphical model에 기반한 Hidden Markov Model과 1-D Conditional Random Fields 기법, 퍼지 클러스터링과 확률적 퍼지추론에 기반한 IFCS 기법에 비해 인간행동 패턴을 학습 및 예측하는데 있어 탁월한 성능을 보인다.
제안된 응집 클러스터링 기법을 이용한 추가적인 응용으로 휠체어 사용자를 위한 통합 소프트웨어의 아이콘 추천 시스템을 보여준다. 이는 사용자의 기존 아이콘 사용 history를 자동으로 카테고리화 하고, 현 상황에 가장 적합한 아이콘 집합을 제시해 주는 차원 줄임의 개념이다. 아울러, 한정된 작은 개수의 아이콘 출력만을 허용하는 간단한 인터페이스에 훨씬 많은 양의 functionality를 제공하는 이점을 가진다.
제안된 매개변수 최적화에 관한 개념을 좀 더 일반적인 관점에서 바라보면 유사도에 관한 것임을 알 수 있다. 다시 말해, 만일 주어진 사물 쌍들의 유사도 값을 정의한다면, 주어지지 않은 다른 사물 쌍들의 유사도 값도 구할 수 있다는 것이다. 더구나, 이를 이용한 커널 기법의 경우 프로세스가 이루어지는 내재된 차원은 무한대라 할지라도, 실제 표현되는 계산은 유한차원에서 이루어지며 계산량은 단지 데이터 개수에 의존한다. 유한개 쌍들의 관계로 나머지 무한개 쌍들의 관계를 정의하는 것에 대한 본 연구는, 자동적인 추론을 통한 구분이 필요한 어떤 작업에 있어서도 적용이 가능하도록 확장될 수 있을 것이다.
