Facial expression is the most natural and comfortable way for human-human communication. Many researches are interested in this field not only psychological field but also engineering field during last few decades.
In psychological field, Dr. Ekman insisted that there are six universal facial expressions nonetheless race, culture, district, sex and so on. Six facial expressions are happy, sad, fear, disgust, surprise and angry.
Although the Ekman's work is very well-known in this field, it is very difficult for normal person (who has not sufficient experience for making such expressive expressions) to make such expressive expressions. Thus, we need some remedies for this kind of problems. In this thesis, we propose a concept `personalized service' for this purpose.
In recent days, the `personalized service' is mainly focused on many fields. And we believe that this kind of personalization would be very important and urgently necessary in these days with tremendous and fast information flow. Focusing on the relation between the user and the service agent, we propose a general structure for personalized service and a personalized facial expression recognition system as an example.
In view of technical point, we construct the system for personalized facial expression recognition with fuzzy neural networks and the facial image processing. Fuzzy neural net-works have adopted many advantages from fuzzy decision making system and neural net-works. Human expert's knowledge is easily implemented due to the structure of fuzzy decision rule system and learning function is added on the basis of neural networks.
In the facial image processing, total procedure is divided into three steps. At first, in the face segmentation, a novel scheme to extract the face location is proposed using color histogram based adaptive threshold and motion information. To locate each facial component in the facial region, T-shape based deformable template matching and grouping by projection approaches are used on the basis of `Coarse-to-Fine' approach. As a simple facial component, the mouth is extracted by using relatively simple mechanism. Finally, to extract necessary information for recognition, we propose various kinds of feature extraction method on the basis of human visual system and hybrid feature (combination of global and local features).
In this thesis, we discuss about a design process of `personalized' classifier with soft computing techniques. Based on a human's way of thinking, a construction methodology for personalized classifier is mentioned. Here, fuzzy similarity measures and ensemble of classifiers are effectively used. A feature selection method for the fuzzy neural networks plays also a key role for construction of personalized classifier.
As an application of proposed structure, we example the case for human-robot interaction in the rehabilitation robot, KARES II. As another possible application, the human-friendly interface for `intelligent residential space' is introduced.
사람간의 커뮤니케이션 뿐만 아니라, 인간-로봇 상호작용에 있어서 얼굴표정인식은 그 자연스러움과 편리함으로 인해 매우 중요한 요소로 부각된다. 과거 심리학 분야에서의 축적된 지식을 바탕으로 공학적 응용이 등장하고 수많은 연구결과들이 쏟아져 나오는 것들을 매우 자연스러운 현상이라 하겠다.
심리학적으로, 에크만(Ekman) 등은 인간이 취할수 있는 수많은 표정들 중에서 인종, 문화, 지역, 성별 등에 무관하게 표현되는 6가지 기본 감정의 존재를 피력하고 그 언어적 기술에 대해 논의하였다. 6가지 기본 감정은 행복, 슬픔, 공포, 혐오, 놀람, 분노로 대변된다.
이러한 에크만의 연구결과에 기반한 다양한 연구결과들이 발표된 바 있으나, 실세계에서의 응용은 만만치 않다. 에크만의 연구결과에 부합되는 얼굴표정은 다년간 훈련이나 표정연기에 탁월한 재능을 가진 일부 사람들에게서만 발견되는 것이었다. 오히려, 실세계에서는 개인별 성향(=개성)을 고려한 얼굴표정인식에 대한 연구가 필수 불가결하게 되었다.
이러한 `개인화 서비스'에 대한 관심은 매우 다양한 분야에서 고조되고 있으며, 특히 현대사회와 같은 무한한 정보의 흐름 속에서는 개인화에 관한 학문적 연구가 절실하다. 본 논문에서는 이러한 필요성에 부합하기 위해 개인화된 얼굴표정인식 문제를 중심으로 개인화 에이전트(Agent) 구성을 위해 필요한 방법론에 대해 논의한다.
기술적 관점에서, 개인화된 얼굴표정인식 시스템은 개인화된 인식기를 구성하는 문제와 개인화된 인식기에 필요한 영상특징추출에 관한 문제로 분류된다. 개인화 인식기 구성을 위해 얼굴표정이라는 특수한 성질을 갖는 데이터 처리에 적합한 퍼지신경망 기반 인식기를 활용한다. 퍼지신경망은 전문가의 지식과 학습에 의한 성능 향상이라는 고유 특성을 보유함으로써 본 논문에서 추구하는 개인화 인식기에 가장 적합한 요소로 선정되었다.
영상특징추출은 주어진 영상에서 얼굴을 검출하는 얼굴추출, 추출된 얼굴 내에서 눈,눈썹 등의 얼굴요소를 찾는 얼굴요소추출, 추출된 각 얼굴요소에 대한 영상특징을 추출하는 영상특징추출의 3단계로 구분된다. 각 단계별로 인간시각시스템에 대한 고찰 및 선행지식에 의한 효과적 방법이 제안,구현됨으로써 전체 시스템이 구성되었다. 얼굴추출에서는 새로운 형태의 컬러공간(PCA기반) 및 컬러히스토그램 기반 얼굴추출방법(CHAT), `Coarse-to-Fine' 단계별 접근에 의한 얼굴요소추출방법, 입과 눈의 개폐를 효과적으로 찾기 위한 새로운 특징들이 그것이다.
개인화 인식기의 구성은 퍼지신경망을 근간으로 한 다양한 소프트컴퓨팅 방법론을 채택함으로써 효과적으로 진행되었다. 퍼지유사도에 기반하여 주어진 데이터셋과 기존의 인식기풀(Pool)에 대한 참조를 통해 필요에 의해 새로운 인식기를 생성,추가하거나 기존의 인식기를 일부 수정하는 개념이 개인화 인식기 구성의 핵심 요소로 제안되었다. 특히, 기존 인식기의 수정에 있어서는 퍼지 신경망의 앙상블(Ensemble)이라는 방법이 효과적으로 사용되어 증가학습의 한 측면을 반영하고 있다. 또한, 퍼지신경망의 특수한 구조를 십분 활용하여 제안된 새로운 특징선별 방법은 기존의 다양한 특징선별 방법에 비해 그 성능이 매우 뛰어난 것으로 판명되었다.
기존 에크만 등이 제시한 표정DB를 새롭게 재구성한 두 개의 새로운 DB와 본 논문을 위해 취득된 BSCL DB를 활용한 실험을 통해 제안된 방법의 유용성을 확인할 수 있었다. 제안된 방법의 유용성은 재활로봇 KARES II의 인간-로봇 상호작용 기술로써, 지능형주거공간에서의 개인화 서비스 에이전트로써 활용 가능하다. 향후 개인화 인식과정의 자동화 및 개인화영상처리 기술 등에의 응용이 매우 기대되는 바이다.
