Sign language is a spatial and multi-channel language, but existing sign language translation (SLT) models have taken into account only sequential information of sign language words. As a result, the translated sign language sequence loses its spatial and non-manual information and can not fully convey the meaning of the sequence. The thesis claimed herein is that the translation model must understand spatial and non-manual information centered around manual information to generate a complete sign language expression from a spoken sentence. To understand and generate this, we represent a KSL expression as a graph form and formulate SLT as a sequence-to-graph (seq2graph) learning problem. Through experiments, we analyze the strengths and weaknesses of the sequence-to-sequence (seq2seq) SLT methods and compare the performance of the seq2graph SLT method to that of seq2seq SLT methods. To compare the performance with the same criteria, we propose a new metric, Sign Language Evaluation Understudy (SLEU), to measure not only sequential information accuracy but also spatial and non-manual information accuracy. As a result of the experiment, the seq2graph SLT model is shown to perform 31.9% better than the best-performed seq2seq SLT model. In the future, we anticipate that the results of this study will be used in areas where there is a high demand for sign language interpretation by the Deaf, such as daily life conversations, broadcasting, and the Internet.
수어는 공간언어 및 다층언어임에도 불구하고 기존 번역 모델들은 수어 단어의 순차적인 정보만을 고려하여 번역해왔다. 그 결과, 번역된 수어 문장은 공간 정보 및 비수지 정보가 소실되어 문장의 의미를 완전히 생성하지 못했다. 본 논문에서는 번역 모델이 완전한 의미의 수어 표현을 생성하기 위해서는 수지 신호와 동기화된 공간 및 비수지 신호를 이해하고 생성해야함을 주장한다. 이를 이해하고 생성하기 위해 한국수어 표현을 그래프 형태로 표현하고 한국어 문장에서 한국수어 그래프를 생성하는 시퀀스 대 그래프 기반 수어 번역 방안을 제안한다. 실험을 통해 시퀀스 대 시퀀스 기반 수어 번역 방안의 강점과 약점을 분석하고, 시퀀스 대 그래프 수어 번역 방안과 성능을 비교한다. 동일한 정량적 지표로 성능을 분석하기 위해 수어의 순차적 정보 일치와 공간 및 비수지 정보의 일치까지 동시에 평가할 수 있는 Sign Language Evaluation Understudy (SLEU)라는 새로운 수어 번역 평가 지표를 제안한다. 실험 결과, 시퀀스 대 그래프 번역 모델이 가장 우수한 성능을 보인 시퀀스 대 시퀀스 번역 모델보다 31.9% 우수한 성능을 보였다. 본 연구의 결과물은 일상생활, 방송 및 인터넷 분야와 같이 농인들의 수어 통역 수요가 많은 영역에 활용될 것으로 기대한다.
