This paper deals with a neural network that mimics a bat and provides 3D information by tracking a moving object even in severe weather such as sudden fog or rain. In the case of an ultrasonic sensor, it is possible to obtain the location of an object because it is robust even in bad weather, but it is impossible to accurately predict the size of the object. In contrast, a visual sensor such as a camera can obtain the location and size of an object, but has a disadvantage in that it does not operate properly in harsh environment. We implemented a network that can provide 3D information of objects even in bad weather conditions by mapping information obtained from images and ultrasound. We demonstrated the performance of the network through intersection over union (IoU) values, and these experimental results showed that objects can be tracked even in severe weather through the mutual complement of ultrasound and camera sensors.
이 논문은 박쥐를 모방하여 갑자기 안개가 끼거나 비가 오는 등의 악천후에서도 움직이는 개체를 추적하여 3차원 정보를 제공하는 신경망에 대해 다루었다. 초음파 센서의 경우 악천후에도 견고하여 물체의 위치를 얻는데 용이하나 물체의 정확한 크기를 예측하는 것은 불가능하다. 이와 반대로 카메라와 같은 시각 센서의 경우 물체의 위치와 크기를 얻을 수 있으나 악천후에는 제대로 동작하지 못한다는 단점이 존재한다. 박쥐가 복잡한 환경에서도 눈과 귀를 조화롭게 활용하여 생활하는 것에 기인하여 이미지로부터 얻은 정보와 초음파로부터 얻은 정보를 매핑하여 악천후의 상황에서도 물체의 3차원 정보를 제공할 수 있는 네트워크를 구현하였다. 우리는 IoU 값을 통해 해당 네트워크의 성능을 증명하였고 이러한 실험 결과들은 초음파와 카메라 센서의 상호 보완을 통해 악천후에서도 물체를 추적할 수 있다는 것을 보여주었다.
