This dissertation is concerned with the performance of spoken language translation in multimedia communication environment. Current spoken language translation systems suffer not only from limited performance of each component module, but also from the accumulation of errors throughout the serial connection of components. Among the components, the speech recognition module is a major bottleneck and its performance is much lower than acceptable.
We propose a spoken language translation system which provides its users with the multimedia aid for understanding the intention of a foreign speaker. Our approach to achieve high end-to-end, i.e., human-to-human performance in contrast to those of most conventional speech translation systems pursuing only the high input-to-output performance. The proposed system can provide even partially recognized utterances to the user, in order not to neglect the possibility that the user can infer the intended message using the context and his intelligence.
Our system also provides a multimedia channel which can be utilized in the successful understanding of the error-prone translated speech. The multimedia channel is also used to reduce the errors from the out-of-vocabulary problem.
We also propose a performance measure for spoken language translation systems. Our measure is defined as the ratio of the information quantities at each end of communication. Using this measure, we show that multimedia information can enhance spoken language translation systems.
The experiments of Korean-to-English and Korean-to-Japanese spoken language translation systems show that the proposed measure is coherent with human understandability of the speaker's intention.
본 논문은 음성언어번역의 성능 특히 멀티미디어 통신환경에서의 성능에 관한 연구에 관한 것이다. 기존의 음성언어번역 시스템의 문제점은 구성요소, 특히 음성인식 모듈의 성능이 낮은 것이다. 본 논문에서는 멀티미디어 통신으로 발화자의 의도를 이해하는데 도움이 되는 음성언어번역 시스템을 제안하였다. 기존의 시스템이 입력 대비 출력의 성능을 높이려고 하는데 비해 단 대 단, 즉 발화자에서 상대편까지의 성능을 최대화하려는 것이 본 시스템의 주요 특징이다. 또한 본 시스템은 입력된 음성언어를 완전하게 이해하기 보다 인식된 정보를 상대편에게 최대한으로 전달하기 위해 부분 인식된 문장도 전달한다. 본 논문에서는 성능을 평가하기 위한 지수로써 수신자측에서의 발신자의 의도 이해도를 이용한다. 또한 객관적인 평가 지수로서 시스템의 입력 정보량과 출력 정보량의 비를 제안하며, 이를 이용하여 멀티미디어 통신 환경이 시스템 성능을 향상시킴을 증명하였다. 제안된 시스템을 한일, 한영 음성언어번역시스템 연구시제품으로 구현하여 성능평가 실험을 수행하였다. 그 결과 제안된 객관적 지수는 주관적 지수인 이해도와 일치한다는 것이 증명되었고 완전하지 않은 부분정보의 전달 또한 시스템의 성능을 높이는 데 기여한다는 것을 알 수 있었다.
