285 million people are estimated to be visually impaired worldwide: 39 million people are blind and 246 million people have low vision. Visually impaired people typically use a white cane or a guide dog or both of them to walk down street. The white cane and the guide dog have both strengths and weaknesses. The white cane is the most used assistance object which is simple, light, cheap, and easy to carry. It, however, also has weaknesses that detects obstacles only short distance, detects obstacles only on the ground and cannot tell any information except existence of obstacles. On the other hand, the guide dog can detect obstacles far distance, detect a crosswalk and traffic lights, and give psychological stability to the user. Weaknesses of the guide dog are that the user should train with the guide dog and training the guide dog is expensive.
This thesis proposes an RGB-D camera-based navigational assistance system for visually impaired people in a dynamic indoor environment to maximize advantages and minimize weaknesses of existing methods. The proposed system consists of an obstacle detection and tracking algorithm, an user localization algorithm with visual odometry and a landmark-based particle localization algorithm, a fuzzy integral-based gaze control algorithm, and a vibrotactile vest interface to interact with an user.
The proposed obstacle detection and tracking algorithm can detect and track obstacles in a dynamic environment. An RGB-D camera is used to detect obstacles. Difference points with warping function are extracted and are segmented by the distance. The approach of object tracking uses maximum a posteriori (MAP) estimation with three terms (center position, color, size) of joint likelihood that has the different weight of each likelihood.
The proposed user localization algorithm uses visual odometry and landmark-based particle localization algorithm (LPLA). The visual odometry is estimated using an RGB-D camera and an IMU. 3D feature points based on speed up robust features (SURF) descriptor are generated to incorporate depth information into RGB color information. Motion vectors are generated using matched 3D feature points. And static feature points classified from motion vectors are used for robustness of visual odometry in a dynamic environment. The landmark-based particle localization algorithm estimates the pose of a user with the bearing angle and the distance of landmarks using concept of Monte Carlo method. Finally, the results of visual odometry and LPLA are integrated with Kalman filter.
Assistance systems for visually impaired people should look around to obtain more information about an environment, because visually impaired people usually look only forward. The proposed navigational assistance system for visually impaired people can look around using fuzzy integral-based gaze control. The fuzzy integral is one of multi-criteria decision making methods. The correlation between criteria is calculated by the fuzzy measure. And then, the global evaluation of candidates is calculated by the fuzzy integral using the fuzzy measure values and partial evaluation values with respect to criteria. To determine the gaze direction, five criteria regarding the distance, the size, the velocity of obstacles, uncertain area, and localization are defined.
Assistance systems for visually impaired people typically notify obstacle information or safe path to an user with auditory or tactile feedback. The proposed assistance system for visually impaired people uses tactile feedback with a vibrotactile vest to avoid obstacles. The vibrotactile vest has nine vibrating motors and an AVR. Vibrating motors are divided three groups such as the left side, center, the right side. The vibrotactile vest cannot notify all detected obstacles to the user and the user do not need to know all detected obstacles information. So, the vibrotactile vest should notify only obstacles to avoid. To select vibration areas of the vibrotactile vest, fuzzy integral is used and three criteria regarding the distance, the size, the velocity of obstacles are defined.
To confirm the performance of the proposed assistance system for visually impaired people, All algorithms were integrated into one system and experiments were carried out in an indoor dynamic environment.
3900만명의 맹인과 2억 4600만명의 저시력인을 포함하여 전세계적으로 총 2억 8500만명의 시각장애인이 있다고 추정되고 있다. 시각장애인은 보통 흰지팡이나 맹도견, 또는 두가지 모두를 사용하여 길거리를 걸을 수 있다. 흰지팡이는 가장 많이 사용되는 보조장비로 간단하고, 가볍고, 싸고, 갖고 다니기 쉽다는 장점이 있다. 하지만 검출할 수 있는 장애물의 거리가 가깝고, 오직 땅 위에 있는 장애물만 인식할 수 있으며, 장애물의 존재 외의 정보는 얻을 수 없다는 단점이 있다. 반면에, 맹도견은 가까운 장애물 외에 멀리 있는 장애물도 검출할 수 있고, 신호등과 횡단보도 등을 인식할 수 있으며, 정서적인 안정을 준다는 장점이 있으나, 맹도견과 시각장애인이 함께 훈련을 받아야 하고, 맹도견이 되기까지 훈련을 위한 비용 등의 많은 비용이 필요하다는 단점이 있다.
따라서, 이 학위 논문에서는 기존의 방법들의 장점을 극대화하고 단점을 극소화할 수 있는 동적인 실내 환경에서 시각 장애인을 위한 RGB-D 카메라 기반 항법 보조 시스템을 제안한다. 제안하는 시스템은 장애물 검출 및 추적 알고리즘, 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘을 통한 사용자 위치 추정 알고리즘, 퍼지 적분 기반 시선 제어 알고리즘, 사용자와 상호작용을 위한 진동 조끼로 구성되어 있다.
제안된 장애물 검출 및 추적 알고리즘은 동적인 환경에서 장애물을 검출하고 추적할 수 있다. RGB-D 카메라에서 얻은 RGB 이미지와 거리 정보를 사용하여 뒤틀림 함수를 계산하고 이전 상태와 다른 점들을 추출한다. 추출된 점들을 거리의 변화를 기준으로 나누므로써 장애물을 검출한다. 장애물 추적을 위해서 장애물의 중심점, 색깔, 크기 정보를 결합 우도로 사용한 최대 사후 확률을 사용하였다.
제안된 사용자 위치 추정 알고리즘은 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘을 사용한다. 사용자 위치 추정 알고리즘은 RGB-D 카메라와 IMU를 사용하여 추정된다. RGB-D 카메라의 RGB 이미지에서 speed up robust features (SURF) 특징점을 추출하고 거리 정보를 이용하여 3D 특징점을 계산한다. 그리고 계산한 모션 백터를 이용해 구분된 정적인 특징점을 사용하여 동적인 환경에서 강인한 시각 주행 거리 결과를 얻는다. 표식점 기반 위치 추정 입자 알고리즘은 표식점의 절대 좌표와 시선각, 거리 정보와 몬테카를로 방법의 개념을 이용하여 위치를 추정하는 알고리즘이다. 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘의 결과는 최종적으로 칼만필터를 통해서 통합된다.
시각장애인을 위한 보조 시스템은 사용자인 시각장애인이 거의 앞만 보고 걷기 때문에 환경 정보를 잘 얻기 위해 주위를 둘러볼 수 있어야 한다. 그래서 제안된 항법 보조 시스템은 퍼지 적분 기반 시선 제어를 이용해서 주변을 둘러볼 수 있게 하였다. 퍼지 적분은 다기준 의사 결정 방법 중 하나로 기준간의 관계를 퍼지 척도를 이용하여 계산한다. 그리고 각 후보의 전체 평가값을 퍼지 척도와 부분 평가를 이용한 퍼지 적분으로 계산한다. 시선 방향을 결정하기 위해서 장애물의 거리, 크기, 속도, 잘 모르는 지역, 위치 추정에 관련된 5가지 기준을 정의하였다.
지금까지 연구되고 있는 시각장애인을 위한 보조 시스템은 장애물 정보나 안전한 길을 사용자에게 청각이나 촉각을 이용하여 알려준다. 제안하는 시각장애인을 위한 보조 시스템은 장애물을 피하기 위해 진동 조끼를 이용하여 알려준다. 진동 조끼는 9개의 진동 모터와 AVR로 구성되어 있다. 진동 모터는 왼쪽, 가운데, 오른쪽의 세 그룹으로 나누어져 있다. 진동 조끼가 검출된 모든 장애물을 알려줄 수 없고 사용자도 모든 장애물에 대한 정보를 받을 필요가 없으므로 정말 피해야 하는 장애물의 방향만 진동 조끼로 알려 줄 수 있게 한다. 진동 조끼의 진동 부분을 선택하기 위해서 퍼지 적분을 사용하였고 장애물의 거리, 크기, 속도와 관련된 세가지 기준을 정의하였다.
제안하는 시각장애인을 위한 보조시스템의 성능을 검증하기 위해 모든 알고리즘을 하나로 통합한 뒤 동적인 실내 환경에서 실험을 수행하였다.
