Traditional obstacles that make the visual recognition problem difficult are the occlusion, within-class diversity, inter-class similarity, geometric/photometric transformations, and background clutters. This dissertation focuses on the background clutters. The recent evolution of deep learning has significantly suppressed the negative effect of backgrounds by learning common visual features of objects from big data that cover diverse backgrounds. However, a deep learning based recognizer still lacks an explicit design to solve this problem but recognizes objects by detecting foreground features common to objects. Therefore, the ability to cope with the background is limited to the background distribution of the training data. In this dissertation, we define problems of background clutters in various visual recognition tasks and presents solutions based on deep learning. The background can be an obstacle to visual recognition, but it can also be an important clue to determine the object existence. We simultaneously take these two aspects of backgrounds into consideration to improve the performance of object classification and detection. Once a target object is classified or detected, the background always acts as an obstacle for another recognizer to analyze attributes of the object. To solve this problem, we learn a normalized object appearance invariant to the backgrounds. When we apply these recognizers to the real world, they often fail to recognize objects with new backgrounds out of the training background distribution. To maintain the recognition performance, we propose an active background adaptation method that enables a recognizer to adapt quickly to the new backgrounds.
인공지능이 물체의 종류나 위치 등을 인식하는 시각 인식 문제에서는 물체의 중첩, 종의 다양성, 기하·광학적 변형, 배경 교란 등이 문제를 어렵게 만드는 전통적인 요인이었다. 본 학위 논문은 이들 중 배경 교란 문제를 해결하는 데 초점을 둔다. 최근 발전한 딥러닝은 다양한 배경을 광범위하게 포함하는 빅데이터로부터 물체의 공통된 시각적 특징을 학습하여 배경 교란 문제를 상당 부분 해소하였다. 하지만 딥러닝은 이 문제를 근본적·명시적으로 해결하기 위한 설계 없이 광범위한 배경을 포함한 빅데이터에 기대어 물체의 공통된 특징을 검출하는 방식으로 물체를 인식하기 때문에, 여전히 데이터 분포의 범주에 인식 성능이 제한된다. 본 학위 논문은 딥러닝 기반의 다양한 시각 인식 문제에서 배경 교란의 문제점을 정의하고 해결 방법을 제시한다. 배경은 물체 인식의 방해가 되기도 하지만 반대로 물체의 유무를 판단하는 중요한 실마리가 되기도 한다. 우리는 배경의 이러한 두 가지 특성을 동시에 고려하여 물체의 종류·위치의 인식 성능을 향상시킨다. 물체의 종류나 위치를 파악한 후 그 물체의 속성을 자세히 분석할 때에는 배경이 항상 방해 요소로 작용한다. 이를 해결하기 위해 우리는 배경에 불변적이고 정규화된 물체의 모습을 학습한다. 이렇게 학습한 인식기들을 현실세계에 적용하면, 학습 배경과 상이한 분포의 배경이 등장했을 때 물체의 인식 성능이 크게 감소할 수 있다. 새로운 배경에 인식기가 빠르게 적응하여 기존 성능을 유지할 수 있도록 우리는 능동적 배경 적응 학습 방법을 제안한다.
