Dysarthria is a motor speech disorder resulting from neurological injury of the motor speech system, im-peding the physical production of speech. Therefore, patients with dysarthria often have trouble in pronouncing certain sounds, resulting in undesirable phonetic variation; their speech intelligibility is reduced in proportion to the severity of dysarthria, and patients with dysarthria have difficulty in communicating with others. In addi-tion, dysarthria is often accompanied with a physical disability such as cerebral palsy that limits the speaker’s capability to communicate through computers and electronic devices. For those who suffer from dysarthria, automatic speech recognition (ASR) can help in controlling computers and electronic devices. However, current ASR systems for the general public are not well-suited to dysarthric speech due to the phonetic variation. Hence, it is necessary to develop an ASR system specialized for dysarthric speech. In general, the characteristics of dys-arthric speech is characterized by the speech intelligibility, and therefore, the automatic intelligibility assessment method of dysarthric speech can be useful in the fields of dysarthric speech processing. For example, it is possi-ble to apply appropriate speech recognition techniques depending on the intelligibility and automatic intelligibil-ity assessment can help speech therapists in diagnosing the degree of speech disorder. Thus, we focus on both automatic speech recognition and automatic speech intelligibility assessment that have been emerging to help people who suffer from dysarthria in this thesis.
The main goals of this thesis are summarized as follows: 1) to demonstrate that phonetic variation in-formation can play an important role in the automatic intelligibility assessment and recognition of dysarthric speech; 2) to propose effective intelligibility assessment algorithm based on the selection of phonetic variations; 3) to provide effective speech recognition methods based on phonetic variation modeling; Research methods to be presented in this thesis are largely divided in the following three categories: 1) extraction of phonetic variation patterns from speech utterances of dysarthric individuals; 2) development of speech intelligibility assessment algorithm based on phonologically-structured sparse linear model; 3) development of speech recognition algo-rithm based on regularized speaker adaptation techniques in the framework of phonetic variation modeling. The above-mentioned our research efforts and findings will be valuable for researcher to make effective use of pho-netic variation information for the purpose of the intelligibility assessment and recognition of dysarthric speech.
마비말장애(dysarthria)는 신경계 결함에 의한 말기제(speech mechanism)상의 운동장애이며 부정확한 조음문제에서 기인한 발음변이로 인해 낮은 명료도의 음성을 산출한다. 일반적으로 마비말장애는 뇌성마비와 같은 신체장애를 동반하기 때문에 의사소통 문제뿐만 아니라 신체적 움직임의 제약으로 일상생활에 필요한 인터페이스를 원활하게 사용할 수 없다. 따라서, 음성인식기술을 이용한 음성인터페이스는 주변기기에의 접근성 향상에 도움을 줄 수 있다. 그러나 일반인을 대상으로 하는 현대의 음성인식기술은 마비말장애인의 발음변이 현상을 수용하기에 부적합하기 때문에 마비말장애인에 특화된 음성인식 방법이 필요하다. 일반적으로 마비말장애는 명료도에 따라 특성화 되기 때문에 자동명료도 평가 기술은 장애음성처리에서 높은 활용도를 갖는다. 특히, 화자의 음성 명료도에 따라 적합한 음성인식기술을 적용하는 방법과 같이 음성인식 성능향상을 위한 방법의 일환으로 적용이 가능하며, 언어치료사가 발음평가를 수행하는데 보조적인 역할로도 활용 가능하다. 따라서, 본 논문에서는 마비말장애인의 삶의 질 향상에 도움을 줄 수 있는 자동명료도 평가와 음성인식 방안을 다룬다.
본 논문에서 제안하는 연구의 목적은 다음과 같이 정리할 수 있다. 1) 마비말장애인들의 발음변이 정보가 자동 음성명료도 평가와 음성인식에 중대한 역할을 할 수 있다는 것을 논증한다. 2) 음성명료도 평가의 성능과 분석력 향상을 위해 발음변이 선별에 기반한 음성명료도 평가 방법을 제시한다. 3) 음성인식 성능을 획기적으로 향상시키기 위해 발음변이 모델링에 기반한 효과적인 마비말장애 음성인식 방법을 제안한다. 위에서 언급한 연구의 목적을 달성하기 위해 본 논문에서의 주요연구내용들은 다음과 같이 세가지로 정리된다. 첫째 음성명료도 평가와 음성인식을 위한 발음변이 특징표현방법을 연구하였다. 둘째 음운구조를 고려한 희소선형모델(phonologically-structured sparse linear model)에 기반한 발음변이 특징선택 및 명료도 평가 알고리즘을 개발하였다. 셋째 발음변이 모델링 프레임워크에서 정규화된 화자적응(regularized speaker adaptation)기반 음성인식 알고리즘을 개발하였다. 본 논문에서 제안하는 연구내용들은 마비말장애인의 음성명료도 평가와 음성인식을 위해 발음변이 정보를 활용하려는 연구자들에게 매우 유용한 정보로서 활용될 수 있을 것이다.
