In this thesis we tackle the problem of assisting the visually impaired using the latest methods in Simultaneous Localization and Mapping (SLAM) and a deep learning-based object detection. We implement information from a map constructed using ORB-SLAM2 to a newly generated map which contains detected objects. Using the map and detected object combination we let the user know the whereabouts of the object of interest and also construct a detailed relative scene graph. We provide extensive experiments to prove our concept. The results show the we are able to achieve high degrees of localization accuracy for locating objects in a sparse map provided by out ORB-SLAM2 system.
이 논문은 Simultaneous Localization and Mapping (SLAM)의 최신 방법과 딥러닝 기반의 물체 탐지를 활용하여 시각 장애인을 보조하기 위해 발생하는 문제를 해결한다. ORB-SLAM2를 사용하여 생성된 지도의 정보에 탐지된 물체가 포함된 정보를 적용한다. 지도와 탐지된 물체의 조합으로 사용자가 관심있는 물체의 위치를 알게 하고 이를 상대 장면 그래프(Relative scene graph)로 표현하여 이를 증명할 수 있는 실험을 진행하였다. 실험 결과를 통해 ORB-SLAM2에서 만들어진 Sparse map에서 원하는 물체를 찾는데 있어 높은 수준의 위치 파악 정확도를 달성할 수 있음을 보이고자 한다.
