There are various types of non-manual signals in sign language, which carry important linguistic information such as feeling, semantic difference and nuance. Upon investigation into the nature of non-manual signals in the bible and literature corpus, we find that several types of non-manual signals appear on a single word. It implies the possibility of the context in signed utterances. This thesis experimentally unravels the nature of non-manual signals and proposes a prediction model for the non-manual signal sequence and its advanced approach.
The correlation between non-manual signals is measured by utilizing their co-occurrence rate. The result shows close correlations among 'Trunk', 'Head', 'Brow to Eye-gaze' and 'Mouth'. To verify the existence of the context, a prediction model using conditional random fields trained on a sequence of 'gloss'-'non-manual signal' pairs is proposed, which shows superior results in comparison with a 'gloss'-'non-manual signal' dictionary-based approach.
This result suggests that synchronized non-manual signals can be predicted by the proposed model when the training is done with other non-manual signals. Also it means that the accuracy is expected to increase as we fine-tune such signals. As a result, all experiments show better performance when a sequence of 'Brow to Eye-gaze' is used as a training data.
수어에서 비수지 요소는 그 종류가 다양하며, 감정 또는 수어 단어의 의미나 뉘앙스를 결정하는 역할을 한다. 비수지 요소의 경향성을 문학과 성경 수어 말뭉치를 통해 분석해 본 결과, 한 수어 단어에서 여러가지 종류의 비수지 요소가 복합적으로 나타남을 알 수 있었다. 또한 비수지 요소가 단어마다 나타나는 것으로 보아 비수지 표현에도 문맥이 존재할 가능성이 있음을 시사했다. 본 논문에서는 이와 같은 비수지 요소의 경향성을 실험을 통해 검증하고, 그 검증 결과를 적용한 비수지 표현 예측 모델과 실험을 통한 발전 내용을 제안하고자 한다.
비수지 요소간의 상관관계는 두 비수지 표현이 동시에 재현되는 비율을 통해 알아보았고, 몸통, 머리, 눈썹부터 눈의 시선, 입과 같은 비수지 요소들 사이에서 상관관계를 확인할 수 있었다. 비수지 표현에서의 문맥이 존재하는지 검증하기 위해 수어 단어-비수지요소 쌍의 문맥 정보를 조건으로 학습시킨 조건부 무작위장 (Conditional Random Fields) 예측 모델을 제안하였고, 이를 수어 사전 기반의 일대일 변환 시스템과의 정확성 비교를 통해 더 높은 정확도를 얻었음을 보였다.
이는 비수지 요소에서 상관관계가 존재한다면, 기존의 예측 모델에 다른 비수지 요소를 더해 학습시킬 경우 비수지 요소간 동기화된 예측을 할 수 있는 모델을 보일 수 있음을 의미했다. 또한 추가적인 문맥 정보가 주어지기 때문에 정확도가 향상 될 수 있음을 시사했다. 이를 실험을 통해 확인해본 결과 그 결과 'Brow to Eye-gaze' 비수지 요소를 학습 데이터로 사용했을 때 다른 비수지 요소를 더 정확하게 예측할 수 있음을 확인했다.
