Human-hand gestures have been used as a means of communication among people for a long time, being interpreted as streams of tokens for a language. They may vary from the stylized lexicon of a traffic cop to the highly developed syntax of a natural language such as the sign language.
The sign language which include many hand gestures is a method of communication for Deaf persons born with profound hearing loss. It is understood by means of gestures of both hands and fingers. The Deaf persons dependent on the KSL is their inability to communicate with normal people in their society. Usually, they must rely on interpreters (normal people) who are fluent in the KSL. It is very difficult to learn the KSL and takes a long time to express the KSL fluently. And these interpreters are few and far between and not easily available. Successful rehabilitation of the Deaf persons in a hearing society must provide a mechanism by which meaningful communication between the Deaf persons and hearing people is possible. For this to happen, one must allow hearing people to use spoken language and the Deaf persons to use the KSL. This requires a speech and sign recognition system, that is, KSL interpretation system, a visual sign display to show signs to the Deaf persons, and a synthesized speech system to provide speech to the hearing person. Recent technological advances allow researchers to begin research on some of the problems associated with building an automatic communication system which can provide communication between the Deaf persons and hearing people. Considerable work is in progress in Korean to KSL sign generation, and in progress in automatic speech recognition. Recognition of the KSL, which is the topic of this thesis, has been attempted.
This thesis deals with a system which recognizes the Korean Sign Language (KSL) and translates it into a normal Korean speech.
The recognition of changing patterns of dynamic gestures in the time domain is essential to understand any KSL-based sentences. This means that the recognition of the KSL should be conducted in real-time. For our system, an electronic device, called Data Glove mounted with a Polhemus sensor, is adopted as an input device in consideration of cost effectiveness of hardware versus real-time processing capability.
It is also known that the pattern classes of KSL gestures are not linearly separable and that patterns tend to overlap with each other. The characteristics of human's hand gesture are investigated and on-line recognition system for 31 Korean manual alphabets and Korean sign language gestures are implemented.
In this thesis, we propose a dynamic gesture recognition method by employing a feature analysis method for efficient classification of hand motions, and applying a fuzzy min-max neural network for on-line pattern recognition.
오랫동안 인간의 손을 이용한 여러 가지 신호가 상호간의 정보를 교환하기위한 수단으로 사용되어왔다. 이러한 예는 교통 경찰관의 수신호에서부터 자연언어에 바탕을 둔 복잡한 동작으로 이루어지는 수화에 이르기까지 다양하다.
사람의 손으로 표현하 수 있는 대부분의 동작을 포함하는 수화는 오랫동안 청각 장애자들의 주요한 통신수단으로 이용되어오고 있는데, 이는 주로 양손과 손가락의 모양, 위치 변화에 의해 수화자 상호간에 미리 정의된 동작으로부터 의사를 교환하게 된다.
한글 수화에 의존하는 청각 장애자들은 비장애자와의 의사소통에서 많은 어려움을 겪고 있다. 일반적으로 청각 장애자들은 한글 수화를 유창하게 표현하는 전문 통역자의 도움을 받아서 비장애자와 정보를 교환하게 된다. 한글 수화는 배우는데 많은 시간이 소요되고(기본 3개월) 이를 유창하게 표현하는것은 몹시 힘들고 많은 노력을 필요로 한다. 또한 전문 수화 통역사가 절대적으로 부족하고 이를 필요로하는 곳은 많이 존재하고 있는 실정이다. 일반 정보 사회로 청각 장애자들을 유도하기위해 청각 장애자와 비장애자사이의 원만한 의사소통이 가능하도록하는 기구가 필요하다. 즉, 청각장애자에게는 수화를 보여주고 비장애자에게는 음성으로 출력되는 한글 수화 통역시스템이다. 한글문자의 수화로의 자동 변환이나 음성의 자동인식은 현재 많은 진척이 이루어지고 있고 본 논문에서는 한글 표준 수화를 기계가 인식하고 그 결과를 음성으로 번역하는 시스템의 구현에 관하여 다룬다.
시간에따라 변화하는 동적인 손자세의 인식은 한글 표준수화의 문장을 이해하는데 필수적이며 이는 실시간으로 수행되어야 한다. 이러한 시스템을 구현하기 위해서 하드웨어와 실시간 처리능력을 고려하여, 3차원 위치센서인 폴헤무스 센서를 장착한 데이터 장갑을 손의 움직임을 추적하는 입력장치로 사용하였다.
본 논문에서 인식대상으로하는 수화는 최근에 발간된 ‘특수학교 중학부 수화 I'에 있는 한글 표준수화이며, 확장성과 안정적인 인식을 휘한 많은 사전 조사가 있었다. 모두 31가지의 한글 지문자와 4가지 형태의 57가지 수화 동작을 2가지의 기본 요소(손의 움직임과 손가락의 모양)로 분리하여 인식하는 시스템을 제안하였다.
14가지의 손움직임을 실시간으로 인식하기위해 본 논문에서는 시간에 따른 손 움직임데이타에서 추출한 특징들을 고려하여 퍼지 최대-최소 신경망 분류기를 사용하여 인식하였다.
실제로 수화를 사용하는 청각 장애자들도 상호간의 동작을 잘못 이해하는 경우가 있음을 고려해볼때 본 시스템은 75%인식 성공률을 보이고 있다. 현재의 시스템은 분리된 각 단어에 대한 인식시스템으로 제한되어 있고, 연속적인 동작의 인식을 위한 시스템의 확장이 고려되어야 한다.
본 시스템을 이용하여 한글 수화를 배우고자하는 사람에게 수화를 가르쳐주는 교육용 시스템으로 발전시킬수 있다. 즉, 수화자가 기계의 지시에 따라 동작을 표현하며, 그 결과를 인식시스템이 인식하여 결과를 컴퓨터 화면에 보여줌으로써 동작의 교정이 가능하게 된다.또한 본 시스템은 병원, 경찰서 등의 공공장소에서 청각 장애자의 의사를 통역자없이 전달해줄 수 있다. 수화자동 발생 시스템과 결합함으로써 청각 장애자와 비장애자사이의 상호간 의사 소통도 가능하게 된다.
좀더 효율적인 인식시스템을 구현하기위해 지문자 인식 시스템과 수화 인식시스템의 결합을 위한 알고리즘이 추가될 예정이다.
