In computer vision research, various algorithms using deep neural networks (DNNs) have been developed. Among the deep neural networks, the convolutional neural networks (CNNs) have a structure that expresses the spatial characteristics of the images well, and the recurrent neural networks (RNNs) have a structure that can utilize the information on the sequential images well. Using this characteristics, we can apply CNNs and RNNs to visual multi-object tracking (MOT) research using image as input. In order to apply the DNNs to the online MOT process, an appropriate neural network structure is needed to solve the problems that may occur when considering multiple objects simultaneously.
In this dissertation, we propose an online MOT system that combines the CNNs and the RNNs. Multiple object tracking systems focus on distinguishing between individual objects within the same object class. Therefore, neural networks should be trained to extract features that make it easier to distinguish minute differences between objects using visual information of images. To do this, we generate the discriminative appearance feature using triplet convolutional neural networks (triplet-CNN). In addition, the RNNs are used to estimate the motion models of the objects based on the sequential information of the target objects, and the Long Short Term Memory (LSTM) neural networks with enhanced memory function are used for data association between trajectories and target objects. To improve the performance of the proposed system, we introduce the generative adversarial network (GAN) structure for data augmentation. Using data augmentation, we can improve the performance of the triplet-CNN, which leads to the performance improvement of the proposed MOT system. We also propose a novel gradient descent algorithm called a rejuvenating adaptive PID-type optimizer (RAPIDO) for fast deep learning. RAPIDO algorithm adapts over time and performs optimization using current, past and future information similar to the PID controller. It is suited for optimizing deep neural networks that consist of activation functions such as sigmoid, hyperbolic tangent and ReLU functions because it can adapt appropriately to sudden changes in gradients.
컴퓨터 비전 연구에서 심층 신경망 (Deep Neural Network)을 이용한 다양한 알고리즘이 개발되고 있다. 심층 신경망 중에서 합성곱 신경망 (Convolution Neural Network)은 영상이 갖는 공간적인 특징을 잘 표현하는 구조를 갖고 있고, 순환 신경망 (Recurrent Neural Network)은 순차적인 영상에 대한 정보를 잘 활용할 수 있는 구조를 갖고 있다. 이러한 특성을 이용하면 영상을 입력으로 하는 시각적 객체 추적 연구에 합성곱 신경망과 순환 신경망을 적용할 수 있다. 이때 온라인 다중 객체 추적 전체 과정에 대해 심층 신경망을 적용하기 위해서는 다중 객체 추적의 문제를 해결할 수 있는 적절한 신경망 구조가 필요하다.
본 논문에서는 합성곱 신경망과 순환 신경망을 결합한 형태의 온라인 다중 객체 추적 시스템을 제안하고 있다. 다중 객체 추적 시스템은 동일 객체 클래스 내의 개별 객체들을 구별해 내는 것에 중점을 둔다. 따라서 영상의 시각적 정보를 이용해 객체간의 미세한 차이를 구별하기 쉽게 하는 특징을 추출할 수 있도록 신경망을 학습해야 한다. 이를 위해 세쌍둥이 합성곱 신경망을 이용해 차별화 외양 특징 (Discriminative Appearance Feature) 생성한다. 또한 객체의 순차적인 이동 정보를 바탕으로 객체의 동작 모델을 추정하기 위해서 순환 신경망을 이용하고, 객체 이동 경로와 객체와의 정합을 위해서는 메모리 기능이 강화된 LSTM (Long Short Term Memory) 순환 신경망을 사용한다. 제안된 시스템의 성능을 향상시키기 위해 데이터 보강을 위한 GAN (Generative Adversarial Network) 구조를 도입한다. 데이터 증강 기법을 사용하면 세쌍둥이 합성곱 신경망의 성능을 향상시킬 수 있으며, 결과적으로 제안된 다중 객체 시스템의 성능을 향상 시킬 수 있다. 또한 심층 신경망을 빠르게 학습하기 위해 RAPIDO (Rejuvenating Adaptive PID-type Optimizer) 알고리즘을 제안한다. RAPIDO 알고리즘은 PID 컨트롤러와 유사하게 현재, 과거 그리고 미래 정보를 모두 사용하여 최적화를 수행한다. 갑작스러운 경사 변화에 적절하게 적응할 수 있기 때문에 시그모이드, 쌍곡 탄젠트 및 ReLU 함수와 같은 활성화 함수로 구성된 심층 신경망을 학습하는 데 적합하다.
