Deep learning-based object detection and object tracking algorithms have enabled robots to perform many tasks. However, if the robot tracks the target, it becomes a difficult problem by changing the camera position, the object position, and the surrounding environment. In a complex environment, it is a challenge for robots which has limited computing resources to track an object in real-time.
In this research, real-time tracking by detection frameworks using a stereo camera is proposed for single object tracking mobile robots. The proposed framework reduces inference time by implementing the object detector on TensorRT. The color histogram, the object bounding box, and the 3D location calculated from depth map are used for object identification. The movement of the object is compensated using the Kalman filter, and the movement of the camera is compensated using egomotion. In addition, it uses an appearance learning method called memory book to remember the change of the target appearance, the weight decay step adaptively adjusts the weights of features for object association to increase the re-identification. The proposed algorithm was verified using various datasets, and it was confirmed that a single object can be robustly tracked in a complex environment. The proposed algorithm was tested in various dataset environments, and verified that a single object can be robustly tracked in a complex environment.
딥 러닝 기반 객체인식과 객체 추적 알고리즘은 로봇이 많은 임무를 수행할 수 있게 해주었다. 하지만, 로봇이 특정 객체를 추적하는 상황이라면, 카메라와 객체 위치 그리고 주변환경을 변화시켜 더욱 어려운 문제가 된다. 이러한 복잡한 환경에서, 연산자원이 제한된 로봇이 실시간으로 객체를 추적 하는 것은 도전적인 과제로 남아있다.
본 연구에서는 단일 객체 추적 모바일 로봇을 위한 스테레오 카메라 이용 실시간 객체 추적 프레임워크를 제안한다. 제안된 프레임워크는 객체 인식기를 TensorRT에서 구동 시켜 처리시간을 줄였다. 컬러 히스토그램, 객체 인식기 결과인 객체 박스, 거리지도를 이용해 추정된 객체의 3차원 위치를 객체구별에 사용한다. 객체의 이동은 칼만필터를 이용해 보정되고, 카메라의 이동은 에고 모션을 이용해 보정된다. 또한 메모리 북이라 불리는 외형 학습방법을 이용해 타겟 외형의 변화를 기억하고, 특징 별 가중치를 상황에 맞게 조절하는 방법을 사용해 추적객체 인식률을 증가시켰다. 제안된 알고리즘은 다양한 데이터셋 환경에서 이용해 테스트되었고, 복잡한 환경에서 단일객체를 강인하게 추적할 수 있음을 확인했다.
