In the real-world environment, we encounter objects of various appearances. Even in such environments, it is essential to design networks that are robust to the environments. In a single modality such as color or thermal, the visual appearances of an object are different due to occlusion, small-scale, etc. For robust object detection in the single modality, we analyze the concept of uncertainty to guide the detection network can focus on occlusion and small-scale objects. In addition, by focusing on the small-scale issue, a method for robust detection in the small-scale appearance was also introduced. We proposed a memory structure that mimics the cued recall process in which humans associate large-scale objects even with small-scale objects. Recently, studies extending to multispectral modality are being attempted. In such a multispectral modality, the uncertainty is introduced to effectively capture the appearance information of objects observed in multiple spectrums, and we design a multispectral object detector by considering the importance of each modality. In addition, in actual various applications, various visual appearances of objects can be used in the training phase, but it is not possibiel in the inference phase. We introduce various object detectors that can detect objects even when such information cannot be used in the inference phase. By doing so, we present a new perspective in the field of computer vision dealing with various aspects of objects.
Real-world 환경에서는 객체의 다양한 시각적 모습을 마주하게 된다. 이러한 상황에서도 강인한 객체 검출을 수행할 수 있는 네트워크 설계가 필수적이다. Color 또는 Thermal과 같은 단일 모달에서는 occlusion, small-scale 등으로 인해, 객체의 시각적인 모습이 다르다. 이러한 환경에 강인한 객체 검출을 위해 uncertainty 개념을 도입하였고, 검출 네트워크가 occlusion, small-scale 객체에 집중하여 학습할 수 있도록 하였다. 또한, small-scale에 초점을 맞추어, small-scale의 appearance에 강인한 검출을 위한 연구도 소개하였다. 인간이 small-scale의 객체에도 large-scale의 객체를 연상하는 cued recall 과정을 모방하는 memory 구조를 제안하였다. 최근에는 multispectral modality로 확장하는 연구들이 시도되고 있다. 이러한 multispectral modality 환경에서, 여러 spectrum에서 관찰되는 객체의 appearance 정보들을 효과적으로 융합하기 위해 uncertainty 개념을 도입하였고, 각 modality의 중요도를 고려하여 융합할 수 있는 검출 네트워크를 설계하였다. 또한 실제 다양한 application에는 학습 단계에서는 객체의 다양한 시각적 모습이 사용이 가능하지만, 추론 단계에서는 이러한 정보를 활용하지 못할 때에도 강인하게 객체 검출하는 네트워크들을 소개함으로써, 객체의 다양한 모습을 다루는 컴퓨터비전 분야에 새로운 관점을 제시한다.
