In face to face communication between human and robot, many types of channels exist. Face to face communication should not consist of only one channel since other methods have to be substituted for the possible failure. The recognition of facial expression is one of channels whose importance has been surfaced recently. Quick and accurate system is crucially needed to detect facial expression that last for only few seconds. To realize rapid system, the up-to-date method is called AdaBoost which uses rectangle feature. In utilizing rectangle feature, more analysis and innovative rectangle feature should be established since existing or a bit modified rectangle feature used for the face detection is not able to meet the objectives.
This thesis suggests a way of the recognizing facial expression, attempted through using innovative rectangle feature. By using AdaBoost algorithm, expanded version of simple rectangle feature that is widely used in current research has been suggested as a new method.
After facial expression recognition system constituted with proposed rectangle feature has been compared to that with simple rectangle feature in its capacity, the former which used proposed rectangle feature has shown better capacity in performing facial expression recognition. Current rectangle feature generates weak classifier that represents one part of the facial expression. However, proposed rectangle features take more than two part of face into consideration, which increase recognition rate of weak classifier that is helpful to draw up the overall recognition rate of strong classifier. This thesis deals with seven facial expressions; neutral, happy, anger, sad, surprise, disgust and fear.
This facial expression recognition system operates without the aid of initializing stage and realizes automatic facial expression recognition system. The overall structure adopts window scanning and image pyramid structure so that various size of face is allowed to be detected. In addition, real-time performance rate can be achieved through constituting strong classifier with extracting a few but efficient weak classifiers by the AdaBoost learning.
인간과 로봇과의 face to face communication에는 여러 channel이 존재한다. Face to face communication은 한가지 채널로만 이루어 질 수 없으며 한가지 방법이 실패하면 다른 방법이 보안해야 한다. 얼굴표정인식은 그 채널중의 하나로써 최근에 그 중요성이 부각되고 있다. 얼굴표정은 수초내에 사라지므로 이를 검출하기 위해선 빠르고 정확한 시스템이 절실하게 요구된다. 빠른 시스템을 구현하기 위해서 최근에 사용된 방식은 사각 특징점을 이용한 AdaBoost 방법이다. 하지만, 사각 특징점을 사용하는데 있어서 기존의 얼굴 검출할 때 쓰는 사각 특징점을 사용하거나 다소 변형하여 사용하기 때문에 이에 대한 분석과 새로운 사각 특징점이 필요하다.
본 논문에서는 새로운 rectangular feature을 이용하여 facial expression recognition을 하는 방법을 제시하였다. AdaBoost algorithm을 이용하여 facial expression recognition을 하는 기존의 연구에서 쓰이던 simple rectangular feature을 확장한 rectangular feature을 제안하였다.
제안된 rectangular feature을 이용하여 facial expression recognition system을 구성하고, 기존의 simple rectangular feature과의 성능비교를 통해 제안된rectangular feature을 사용하여 facial expression recognition을 하는 것이 더 낳은 성능을 나타낸다는 것을 보였다. 기존의 rectangular feature은 얼굴 표정의 어느 한 부분만을 나타내는 weak classifer를 생성한다. 하지만 42개의 사각 특징점은 얼굴의 두부분 이상을 고려함으로써 weak classifier의 인식률을 높여 전체 strong classifier의 인식률 상승에 도움을 주었다. 본 논문에서 구성한 얼굴표정의 클래스는 7개(무표정, 기쁨, 화남, 슬픔, 놀람, 역겨움, 공포)이다.
구성된 facial expression recognition system은 초기화의 과정이 필요 없는 automatic facial expression recognition system을 구현하였다. 시스템의 전체구조는 window scanning 구조와 image pyramid 구조를 취함으로써 다양한 크기의 얼굴을 검출할 수 있었다. 또한 AdaBoost 학습을 통해 적은 수의 효율적인 weak classifier를 추출해서 strong classifier를 구성하기 때문에 실시간에 가까운 실행속도를 얻을 수 있었다.
