In this thesis we propose a new vision-based smartphone interface system which can translate user`s eyes and mouth gestures into commands for other software applications.
Our interface system performs three main stages of vision-based techniques with frame images obtained from smartphone front-facing camera in real time.
First, we use ``LBP(Local Binary Pattern)+Cascade of Boosting`` algorithm for face detection.
From the face region, we find eyes and mouth regions approximately.
Next, our system determines whether user`s pupil exists or not using image filtering techniques.
Finally, mouth gesture is determined using GIST descriptors containing fingerprints of an input image as a low dimensional representation.
Additionally, a short calibration needs to be executed before a user starts working with the system in order to collect mouth gesture images made by the user in current lighting condition.
After face detection and eyes and mouth pattern recognition, the gesture pattern is translated into a command.
Experimental results show that our proposed system works reasonably well and has potential to be used as an alternative for those who cannot use conventional smartphone interfaces.
본 논문에서는, 손을 사용하기 힘든 장애인들의 스마트폰 이용 환경 개선을 위하여, 눈의 깜빡임과 입술의 움직임으로 스마트폰을 이용할 수 있는 컴퓨터 비전 기반의 인터페이스를 제시한다.
대부분의 컴퓨터 비전 기반의 방법들이 많은 실수 연산(floating point operation)을 사용하는데, 기존의 데스크탑 PC 환경에서와 달리, 스마트폰 환경에서는 실수 연산 장치(floating point unit)가 없기 때문에 실수 연산 시간이 매우 오래 걸린다는 문제가 있다.
또한 스마트폰은 매번 사용하는 장소가 달라질 수 있기 때문에, 주변 환경에 따라서 동일한 피사체일지라도 카메라 영상에서의 색상 정보가 매번 달라질 수 있어, 기존의 사람 피부색 같은 색상 정보를 이용한 방법들은 사용하기 힘들다.
이런 문제들 때문에 스마트폰에서는 색상 정보에 의지하지 않고 되도록 적은 실수 연산을 하는 방법이 필요하다.
이를 위해, 우선 스마트폰 카메라로 부터 얻은 영상의 프레임을 회색 이미지로 변환하고 ``LBP+Cascade of Boosting`` 알고리즘을 사용해서 사람의 얼굴 위치를 찾는다.
그리고 얼굴 위치로부터 인체 비율상 대략적인 눈과 입의 영역을 결정한다.
눈의 깜빡임 동작은 눈의 영역에서 눈동자의 검출 여부로 판단한다.
눈동자는 다른 부분과 비교해서 매우 어두운 픽셀 값을 가지기 때문에 눈의 영역에서 gray-value threshold와 Opening morphological operation을 사용해서 눈동자를 제외한 나머지 정보를 지운 후, Suzuki 알고리즘으로 남겨진 부분들의 외곽선 개수를 구해서 눈동자 검출 여부를 확인한다.
입술의 동작 구분을 위해선 GIST descriptor를 사용한다.
GIST descriptor는 2D 이미지를 1D 벡터로 표현하는 방법으로 두 이미지의 유사도를 GIST descriptor 간의 L2 거리를 계산함으로써 결정할 수 있다.
그리고 눈동자의 경우와는 달리 입술의 모양은 개인마다 다양하기 때문에 제안된 인터페이스 사용을 시작할 때, 현재 사용자의 입술 모양의 정보를 기록하는 calibration 단계가 필요하다.
calibration 단계에선 사용자는 4가지 입술 동작을 각각 5초동안 유지하여 해당 동작의 GIST descriptor가 저장되게 한다.
인터페이스를 사용하는 동안의 입술 동작 결정은 calibration 데이터를 기반으로 이뤄진다.
마지막으로 파악된 눈 깜빡임과 입술 움직임을 하나의 명령어로 번역한다.
여기서 눈과 입술 사이의 얼굴 근육으로 인해 눈과 입술의 조합된 동작을 자연스럽게 하기는 힘드므로, 한번에 눈과 입 중에 한 동작만 한다고 가정하면, 총 5가지 구별되는 동작(한쪽 눈 감기, 양쪽 눈 감기, 입술 좌/우, 입 열기)이 있다.
제안된 인터페이스를 사용하면 사용자는 기존의 손을 이용한 스마트폰 터치 인터페이스 대신에 눈 깜빡임과 입술 동작만으로도 스마트폰 사용이 가능하다.
