Event-based single object tracking framework robust to motion blur and severe illumination is proposed in this paper. Conventional single object tracking researches use RGB images and achieved high tracking performance with the aid of deep learning. However, the tracking performance significantly drops when the input frame is not clear due to the afterimage or extreme lighting. In this paper, the event camera
that captures per-pixel brightness changes with high speed is used to handle those challenging situations. In the training stage, the list of events is aggregated with the learnable kernel and the tracking network is trained via similarity learning. In the testing stage, the target is tracked with the pretrained network and static module. The evaluation results on the generated synthetic event dataset with the event simulator and the captured real event dataset demonstrated that the proposed method robustly track the targets in the scene with motion blur and severe illumination.
이 논문에서는 모션 블러와 극심한 조명 환경에서 강건한 이벤트 기반 단일 물체 추적 프레임워크에 대해 다룬다. 일반적인 비디오에서의 단일 물체 추적은 딥러닝의 도움을 받아 높은 추적 성능을 달성했지만, 잔상이나 조명으로 인해 각 프레임에서 얻는 정보가 적은 경우에는 추적 성능이 급격히 감소하게 된다. 본 연구에서는 앞서 제시된 도전적인 상황들에서 강건하게 물체를 추적할 수 있도록 각 픽셀의 밝기 변화를 빠른 속도로 탐지하는 이벤트 카메라를 사용한다. 먼저 리스트 형태인 이벤트를 학습 가능한 커널을 이용 해서 축적하고, 유사도 학습을 통하여 전체 네트워크를 학습한다. 추적 과정에서는 학습된 네트워크와 정지 모듈을 이용한다. 제안된 방법을 이벤트 시뮬레이터를 이용하여 생성된 합성 이벤트 데이터셋과 직접 촬영한 실제 이벤트 데이터셋에서 적용했을 때 모션 블러와 극심한 조명 환경에서 강건하게 추적함을 증명하였다.
