This paper proposes a data augmentation method for object detection technology that can be used universally in infrared cameras. When acquiring camera-based data, there are cases in which objects cannot be detected entirely due to the limitations of existing visible-light cameras in severe weather or nighttime environments. To overcome these limitations, this study conducted a study on a data augmentation method suitable for deep learning-based object detection of an infrared camera that can be applied in various situations based on the efficiency and characteristics of the infrared camera. In order to obtain research data, image data from infrared cameras and generally visible light cameras were collected in snowy, rainy, and foggy environments, and image learning was performed based on a database suitable for each camera. In the case of object detection of infrared cameras, an adversarial generative neural network was used to generate high-resolution images and follow the distribution of actual samples to overcome the noise and low-resolution limitations. In this paper, 2 data augmentation methods that are optimized for object detection by infrared cameras with the low computational amount and high performance are presented. In particular, to verify the strength and performance of the proposed method, experiments were conducted under various conditions, and the validation of the dataset was completed through qualitative and quantitative evaluation. The proposed methods have the simplicity of high efficiency in terms of computational amount and training time compared to performance, and the flexibility applicable to modules or equipment using infrared cameras. In addition, this study has a high diversity of value for future research through fusion with other sensors. Since the proposed method can be applied irrespective of the type and use of infrared cameras, it can be applied to all fields in various forms, such as autonomous vehicles, military GOP scientific guard system and industrial infrared sensors.
본 논문에서는 적외선 카메라의 범용적으로 활용할 수 있는 객체 탐지 기술을 위한 데이터 증강 방법을 제안한다. 카메라 기반의 데이터를 취득할 때 악기상 또는 야간 환경에서 기존 가시광선 카메라의 한계로서 객체를 완전하게 탐지 하지 못하는 경우가 발생한다. 본 연구에서는 이러한 제한사항을 극복하기 위해 적외선 카메라의 효율과 특성을 바탕으로 다양한 상황에서 적용할 수 있는 적외선 카메라의 딥러닝 기반 객체탐지에 적합한 데이터 증강 방법에 관한 연구를 진행하였다. 연구의 데이터를 얻기 위해 강설, 강우, 안개 환경에서 적외선 카메라와 일반 가시광선 카메라의 영상 데이터를 수집하였으며, 각 카메라에 맞는 데이터베이스를 기반으로 이미지 학습을 실시하였다. 적외선 카메라의 객체 탐지의 경우 노이즈가 많고 해상도가 낮은 제한사항을 극복하기 위해 적대적 생성 신경망을 활용하여 고해상도의 이미지를 생성하고 실제 샘플의 분포를 따르게 하였다. 이 논문에서는 연산량이 적고, 높은 성능을 내며, 적외선 카메라의 객체탐지에 최적화된 데이터 증강방법 2가지를 제시하였다. 특히, 제안한 방법의 강점과 성능을 검증하기 위해 다양한 조건에서 실험하였고, 정성적 및 정량적 평가를 통한 데이터셋의 검증을 완료하였다. 제안한 방법은 성능대비 연산량과 학습 시간의 효율성이 높은 단순성과 적외선 카메라를 사용하는 모듈이나 장비에 적용 가능한 유연성을 지녔다. 뿐만 아니라 이 연구는 다른 센서들과의 퓨전을 통해 향후 앞으로의 연구적 가치가 높은 다양성을 가지고 있다. 제안한 방법은 적외선 카메라의 종류와 용도에 무관하게 적용될 수 있으므로 자율주행차량, 군의 과학화경계시스템, 산업용 적외선 센서 등 다양한 형태로 모든 분야에 적용 가능하다.
