This dissertation presents an adaptive classification system for acceleration signal-based gesture recognition and validates its performance by applying it to the tasks of classification of multitude of gesture vocabularies. Acceleration signal is known to be highly user-dependent that deploying a pre- trained recognizer in the field for new users does not guarantee proper level of performance. Especially when the target vocabulary is composed of geometrically complex gestures and includes mildly large number of classes, performance drop is more significant. Making gesture recognizer adaptive to new users can improve the overall usability of the system in such cases. With this dissertation, we propose a system design and implementation that incorporates a meta-level process to make the base classifier adapt to new input data.
We first present the base classifier that is based on a DTW-based 1-NN classification. It has a mechanism for template generalization using DTW-based k-Means clustering. We combine a meta- cognitive framework with the base classifier to enable it perform adaptive learning. The framework includes three meta-cognitive strategies: input pattern analysis(IPA), confidence estimation(CE) and template set adaptation(TSA). IPA analyzes the trajectory lengths of every training samples and build a probability distribution model for filtering out noisy outlier patterns. CE double checks the confidence of the base classifier’s classification result to select input patterns for incremental learning. Finally, TSA tries to sort out the templates that significantly contributes to false positive classifications.
We collected four data sets of English alphabet gestures for the purpose of evaluating our system. The biggest data set was collected from 40 participants, and one data set from children of 6 ∼ 11 years of age. One of the data sets has explicit markers of gesture end-points with which we can measure the accuracy of an automated end-point detector. This is the first acceleration signal database for that purpose. Also, we benchmarked our system using a unique public acceleration-based gesture database called uWave. As such, we performed rather a through performance evaluation of the proposed system for objective validation. Several evaluations showed that our method is viable for robust and high- performance classification of acceleration-based gestures. The base classifier achieved 99.6% for user- dependent and 97.8% recall rate for user-independent recognition on uWave data set. The adaptive classifier provided 92.7% ∼ 98.45% recall rate for various English alphabet-based data sets. These are the state-of-the-art performance in the field of acceleration signal-based gesture recognition.
Finally, we presented multitude of real applications for validation of the proposed system. The tech- nique described in this dissertation has been embedded in a number of gesture-based control applications and edutainment contents. Through collaborations with several companies, the viability and efficacy of the proposed technique has been proved by the use-cases in the real-world environments and real users.
본 학위 논문은 가속도 신호 기반 제스처 인식을 위한 적응적 패턴 분류기의 구조와 기능을 제시하고 다양한 제스처 데이터베이스를 대상으로 한 실험을 통해 그 성능을 검증한다. 가속도 신호는 개인 의존성이 높아 학습 데이터를 이용하여 훈련된 인식기를 실 환경에 적용하는 경우 새로운 사용자들에 대하여 제스처 인식 성능을 적정 수준 이상 유지하기 어렵다고 알려져 있다. 특히, 인식해야 할 제스처 어휘가 기하학적으로 복 잡하고어휘개수가많은경우성능저하의폭은더크다. 인식기가새로운사용자의동작특성에적응할수 있다면이러한성능저하를방지할수있을것이다. 본학위논문은메타수준의프로세스를기반인식기에 적용함으로써 적응적 인식기를 구현하는 방법을 제안한다.
기반 인식기는 Dynamic Time Warping(DTW)를 기반으로 한 1-Nearest Neighbor(1-NN) 분류기로서, DTW를 유사도 점수로 적용하는 k-Means clustering을 이용하여 템플릿들을 일반화한다. 기반 인식기에 메타인지 프레임워크를 접목함으로써 적응적 학습 기능을 부여한다. 메타인지 프레임워크는 세 개의 메 타인지 전략을 포함하는데, 이는 각각 Input Pattern Analysis(IPA), Confidence Estimation(CE), 그리고 Template Set Adaptation(TSA)이다. IPA는 학습 데이터의 제스처 궤적 길이를 메타 특징으로 추출하여 제스처 어휘 별로 제스처 길이 분포를 구축하고 이 분포를 기준으로 입력 제스처를 검증한다. CE는 기반 인식기의 분류 결과를 검증하는 전략으로서 제스처 어휘 별로 정합 점수의 분포를 구축하고 이를 기준으로 입력 제스처의 분류 결과의 신뢰성을 평가한다. TSA는 템플릿의 품질을 지속적으로 평가하여 낮은 품질의 템플릿들을 제거해 나감으로써 템플릿 집합이 주어진 환경에 적응하도록 돕는다.
성능 검증을 위해 영어 알파벳을 대상 어휘로 하는 네 개의 실험용 제스처 데이터베이스를 구축하였 다. 이 중 최고 규모의 데이터베이스는 총 40명의 참여자로부터 데이터를 수집했다. 또한, 6세에서 11세 사이의 어린이로부터 데이터를 수집하여 어린이 교육에 대한 적용 가능성도 타진하였다. 데이터베이스 중 하나는 명시적인 동작의 시작과 끝 표시를 포함하지만 나머지 데이터베이스는 동작의 시작과 끝 표시를 하지 않았다. 영어 알파벳 대상 데이터베이스 외에 공개 벤치마크용 데이터베이스인 uWave 데이터베이스를 이용 하여 인식 성능을 검증하였다. 실험 결과 기반 인식기는 uWave 벤치마크 데이터베이스를 대상으로 사용자 종속일 경우 99.6%, 사용자 독립일 경우 97.8%의 인식 성능을 나타냈다. 메타인지 프레임워크를 적용한 적응형 인식기는 영어 알파벳 어휘 데이터베이스를 대상으로 실험 조건과 데이터베이스에 따라 최소 92.7% 에서 최고 98.45%의 성능을 나타냈다. 이는 분야 최고 수준의 인식 성능으로서 기반 인식 방법과 메타인지 프레임워크의 우수성을 증명한다.
본학위논문에소개된인식기술은실제다양한응용에적용하여현장검증을수행하였다. 총7종의 에듀테인먼트 응용이 개발되었으며, 여러 기업과의 협업을 통해 본 인식 기술이 실 응용환경에서도 적정 수준의 인식 성능을 확보하는데 도움이 되었음을 확인할 수 있었다.
