Multi-target tracking is an import task within the field of computer vision and is used for automatic surveillance, traffic monitoring, image-based navigation, multi-agent mission and so on. Successful implementation of these multi-target tracking applications should be supported by the ability to continuously detect targets. Therefore, it is necessary for tracking systems to have the capability of detecting targets continuously under various conditions. In this regard, convolutional neural networks (CNNs) have been applied to address the multi-target detection problem.
CNNs are deep neural network (DNN) architectures, which have been developed as an effective class of models for image interpretation, and they have been shown to achieve state-of-art result in image recognition and object region proposal. Therefore, this thesis proposes a combination of CNN-based multi-target detection and a conventional multi-target tracking algorithm for monocular vision systems. CNN-based target detection methods use pre-trained target information so that a target can be detected and classified even if the background image is dynamically changed. Also, based on the feature information of the pre-trained target, the relative distance to the target and the posture of the target can be recognized so that the information obtained using monocular vision can be maximized.
This thesis proposes CNN architectures that can recognize the positions of a single target or multiple targets using only monocular vision sensors. The target information obtained using the proposed CNN model is input as measurements of the linear/nonlinear tracking filter that tracks single-/multi-targets. To track multiple targets accurately, the measurements obtained by CNN should be appropriately assigned to each target. The nearest neighbor method is used for this data association procedure. In this work, three-dimensional simulators were developed and used to analyze the performance of the proposed method. Using these simulators, a virtual indoor flight environment and a virtual space environment were implemented and images for training the proposed CNN model were generated. In addition to 3D simulation, experiments were conducted to analyze the performance of multi-target detecting and tracking in indoor and outdoor environments.
다표적 추적은 컴퓨터 비전 분야에서 중요한 역할을 수행하고 자율 감시, 교통 흐름 모니터링, 영상 기반 항법, Multi-Agent 임무 등에 활용된다. 이러한 다표적 추적 응용 분야들을 성공적으로 구현하기 위해서는 지속적인 표적 탐지 능력이 뒷받침되어야 한다. 그러므로 영상 추적 측면에서 다양한 환경 조건에서도 지속적으로 표적을 탐지하는 능력이 필수적이다. 이것과 관련하여, 최근에는 합성곱 신경망이 다표적 탐지 문제에 적용되고 있다.
합성곱 신경망은 이미지 해석을 위한 효과적인 모델로 개발된 Deep Neural Network 구조의 하나이며 이미지 인식 및 객체 영역 탐지에 대한 최첨단의 결과를 보이고 있다. 따라서 본 논문에서는 단안 비전 시스템에서 CNN 기반의 다중 표적 탐지와 기존의 다중 표적 추적 알고리듬의 결합을 제안한다. CNN 기반의 표적 탐지 방법은 사전에 훈련 된 표적 정보를 사용하여 배경 이미지가 동적으로 변하더라도 표적을 탐지하고 분류 할 수 있습니다. 또한, 사전 학습 된 표적의 특징 정보에 기초하여, 표적까지의 상대 거리 및 표적의 자세를 인식 할 수 있으므로, 단안 비전을 이용하여 얻은 정보를 최대화 할 수 있다.
본 논문에서는 단안 비전 센서를 이용하여 하나의 대상 또는 다중 대상의 위치를 인식 할 수있는 CNN 구조를 제안한다. 제안된 CNN 모델을 이용하여 얻은 표적 정보는 단일 / 다중 표적을 추적하는 선형 / 비선형 추적 필터의 측정값으로 입력된다. 여러 표적을 정확하게 추적하려면 CNN에서 얻은 측정값을 각 표적에 적절히 할당해야한다. Nearest Neighbor 기법이 Data Association에 사용되었다. 본 논문에서는 3 차원 시뮬레이터를 개발하여 제안된 방법의 성능 분석에 적용 하였다. 가상의 실내 비행 환경과 가상 우주 환경을 구현하여 제안 된 CNN 모델을 학습 할 수 있는 이미지를 생성 할 수 있다. 3 차원 시뮬레이션뿐만 아니라 실내 및 실외 환경에서 다중 표적 탐지 및 추적 성능을 분석하기 위한 실험이 수행되었다.
