Hearing impaired people use sign language to communicate with other people. Unfortunately, average people do not know about sign language, so hearing impaired people are experiencing a difficulty in government offices or banks because they are hard to communicate with officers. To address this problem, cloud services or studies for interpreting sign language through artificial intelligence are emerging recently . However, among them, the Korean sign language interpretation model places substantial computation burden on the cloud server due to heavy deep learning model and unnecessary computations.
In this paper, we propose a two-stage inference system that greatly reduces the burden on cloud servers by effective task division. In particular, we focus on the front-end kiosk, which only serves to store and send videos in the existing Interpreting system. After deploying a deep learning model that is trained to detect sign language in the front-end kiosk, by sending only sign language videos instead of sending videos always to the cloud server, we can significantly reduce the workloads of the cloud server. In addition, through optimizations of the system, the amount of computation in the sign language detection model can be reduced by more than six times. In this way, we minimize additional delays in the kiosk by adapting the sign language detection model to the constraints of the kiosk's computational resources. Finally, by using frame interpolation and call sign method, and improving sign language detection process, we can achieve a better system accuracy in corner cases as well as in general cases.
농인분들은 수화를 통해 사람들과 소통한다. 하지만, 대부분의 사람들은 수화에 대해 잘 모르기 때문에 관공서나 은행같은 곳에서 농인분들은 대화를 잘 알아듣지 못해 큰 불편함을 겪고 있다. 근래에 이를 해결하기 위해 인공지능을 통해 수화를 통역하는 클라우드 서비스나 연구들이 진행되고 있다. 하지만, 그 중, 한국어 수화 통역 모델은 무거운 딥러닝 모델과 불필요한 연산 작업 때문에 클라우드 서버에 크게 연산 부담을 주고 있다.
본 논문에서는 효율적으로 역할을 분담하여 클라우드 서버의 부담을 크게 줄이는 two-stage inference system을 제안한다. 특히 기존의 번역 시스템에서는 영상을 저장하고 보내는 역할밖에 수행하지 않는 front-end 키오스크에 주목한다. Front-end 키오스크에 수화를 감지하도록 학습한 딥러닝 모델을 배치하여 키오스크에서 계속 영상을 클라우드 서버로 보내는 것이 아닌, 수화 영상만 보내도록 함으로써 클라우드 서버의 작업량을 크게 줄일 수 있었다. 또한 시스템 최적화를 통해 수화 감지 모델의 연산량을 6배 이상 줄일 수 있었다. 이를 통해 우리는 수화 감지 모델을 키오스크의 연산 자원의 제약에 맞춰 키오스크에서 추가적으로 발생하는 딜레이를 최소화했다. 마지막으로 영상 프레임 보간법과 콜사인 기법, 그리고 수화 감지 과정 개선을 통해 일반적인 경우뿐만 아니라 corner case에서도 시스템 정확도를 향상시킬 수 있었다.
