As technology develops with the advent of 4th industrial revolution, the importance of interaction between humans and computers is emerging. Accordingly, there have been active studies on wearable devices for grafting human information to digital-world, and AR for breaking the border between the real-world and digital-world. Hand is one of the most natural and intuitive ways to interact with these technologies, and various air-writing systems using hand have been studied. However, precise hand recognition required specific sensors such as depth cameras and inertial sensors, or had to go through the complicated process of devising separate modules for hand detection, fingertip detection, and hand gesture recognition. Moreover, for the applicability of air-writing systems, the writing operations such as writing and deleting should be easily controlled and the written messages should be actually recognized as machine-encoded texts. Therefore, an integrated air-writing and recognition system with an RGB sensor by fingertip detection, static hand gesture classification and scene text recognition (STR) is proposed in this paper. The system takes a 640*480 RGB image as an input and outputs both the positions of the fingertips and the current hand gesture, showing 5.3258 pixel error and 98.29\% classification accuracy respectively. A user can write as if drawing in the air with the tracked index fingertip locations and the overall system is controlled by the classified gesture whether to start, save or clear a message. Also, distinct model for STR showed 79.36\% accuracy on word-level English character recognition.
기술이 발전하고 4차 산업 혁명이 도래함에 따라 인간과 컴퓨터간 상호작용의 중요성이 대두되고 있다. 이에 따라 인체의 정보를 디지털 세계에 접목시키기 위한 웨어러블 장치, 물리적 세계와 디지털 세계의 경계를 허무는 가상, 증강, 그리고 혼합 현실에 대한 개발이 활발하게 이루어지고 있다. 손은 이러한 기술들과의 상호작용을 위한 직관적이고 자연스러운 방법 중 하나이며 손을 이용한 다양한 공중 입력 시스템들이 연구되어왔다. 하지만 정밀한 인식을 위해서는 깊이 카메라와 관성 센서 같은 부가적인 센서를 필요로 하거나 손 탐지, 손가락 탐지, 그리고 손 제스처 인식을 위한 각기 다른 모듈을 고안하는 복잡한 과정을 거쳐야했다. 또한 공중 입력 시스템의 사용성을 위해서는 쓰기, 지우기와 같은 동작들을 간편하게 제어할 수 있어야하며 작성된 필기를 실제로 인식할 수 있어야 한다. 따라서 본 논문에서는 RGB 영상에서 손가락 탐지와 정적 손 제스처 인식, 장면 텍스트 인식을 활용한 통합된 공중 입력 및 인식 시스템을 제안한다. 제안된 시스템은 RGB 이미지 프레임을 입력으로 받아 이미지에서 손가락의 위치와 손이 어떤 제스처를 취하고 있는지를 출력하며 각각 640*480 크기에서 5.3258 픽셀 오차와 98.29\%의 분류 정확도를 보였다. 찾은 검지 손가락의 위치를 추적함으로써 공중에 그리듯이 필기할 수 있으며 인식된 제스처로 필기를 시작할지, 완성된 필기를 저장할지, 지울지 등 시스템을 제어한다. 또한, 장면 텍스트 인식을 위한 별도의 알고리즘과의 연계를 통해 공중에서 79.36\%의 정확도로 작성된 단어 단위에서 영어 낱말을 인식할 수 있다.
