Sign language recognition refers to the process of recognizing sign language expressions, into spoken language expressions. Various studies are being conducted to solve this with deep learning models, but these models face the issue of not performing satisfactorily because of an insufficient amount of data to train the models stably, so typically, augmenting the data is used to solve such problems. In the case of existing sign language data, a method similar to augmenting images has been used. However, these general augmentation methods do not effectively capture the characteristics of sign language, such as the difference in meaning and structure included in each body part and the varying degrees to which they contribute to recognition. This study analyzes the impact of each augmentation method on different body parts, its effect on the structure of sign language, and the relationship with learning performance in perception. Additionally, two hypotheses are proposed for the augmentation methods for each body part. For hands, which are generally more important in sign language representation and contain critical information such as handshapes, methods that can preserve the structural relationship between key-points will be very useful in the recognition process. For the body, which has less representation ability of sign language, augmentation may not have a significant impact. However, since the body contains spatial information including the position of the wrists, which convey the location component, methods that preserve spatial information could be beneficial. Through recognition experiments, we confirmed the similarity between the learning of the sign language recognition model and the hypotheses proposed in this study, and we distinguished appropriate augmentation methods and their characteristics for each body part. Our research, through these findings, seeks to understand the relationship between the characteristics of different body parts and augmentation methods, and offers insights into augmentation techniques.
수어 인식이란 농인들이 사용하는 언어인 수어 표현을 청인들이 사용하는 언어인 구어로 인식하는 과정이며, 이를 딥 러닝모델로 해결하기 위해 여러 가지 연구가 진행되는 중이다. 하지만 이러한 모델들은 번역 데이터의 양이 안정적이게 모델을 학습을 시킬 정도로 충분하지 않기 때문에, 만족할 만한 성능이 나오지 않는다는 문제점을 가지고 있고, 따라서 수어 데이터 증강이 필요하다. 기존 수어 데이터에서의 경우, 일반적으로 이미지를 증강시키는 방식과 유사한 방식을 사용해왔다. 하지만, 이러한 일반적인 증강 방식은, 신체 부위별로 포함하는 의미와 구조의 차이, 그리고 인식에 있어서 기여를 하는 정도가 다른 수어의 특성을 잘 살리지 못하고 있다. 본 연구에서는 이러한 문제를 해결하기 위해서 각 증강 방식이 각 부위에 끼치는 영향과, 이것이 수어의 구조에 대해서 미치는 영향, 그리고 인식에 대한 학습 성능 간의 관계를 분석한다. 또한, 증강 방식에 대해서 신체 부위 별로 두 가지 가설을 제안한다. 손의 경우, 일반적으로 수어의 표현에 있어서 더 중요하며, 수형이라는 중요한 정보를 포함하고 있기에, 키포인트 간의 구조적 관계를 보존할 수 있는 방법들이 인식 과정에 매우 유용할 것이다. 몸의 경우, 수어의 표현에 있어서 덜 중요하기 때문에 증강 과정에 큰 영향을 미치지는 않을 것이지만, 몸이 공간 정보를 포함하고, 손목의 위치로 표현되는 수위 또한 이에 포함되기에, 공간 정보를 보존하는 증강 방법들로부터 도움을 받을 수 있을 것이다. 인식 실험을 통해서, 수어 인식 모델의 학습과 본 연구에서 제안한 가설과의 유사성을 확인했으며 부위별로 적절한 증강 방식과 그 특징이 구별됨을 확인하였다. 우리의 연구는 이러한 결과를 통해서, 신체 부위별 특성과 증강 방식에 대한 관계성을 찾고, 증강 방법에 대한 통찰을 제안한다.
