It is very important to detect objects in autonomous driving situations. However, it will be difficult to detect objects in certain situations where the surroundings are dark, fog, or rain. Among such specific situations, I propose a model that enables object detection both day and night. Since most of the existing 3D driving data have many daytime conditions, it is difficult to detect an object at night. So, using the image conversion model, the corresponding day image is converted into a night image based on the night image that is not paired with the day image. At this time, the depth map was used as a guide so that it could be more helpful in image conversion. In the 3D object detection part, depth aware convolution is used that considers the characteristics of the driving image. In addition, corner loss was applied to correct the vehicle heading angle, and the image translation model and the object detector model were fine-tuned to each other.
자율 주행 상황에서 객체 탐지를 하는 것은 매우 중요하다. 하지만 평소와는 다르게 주변이 어둡거나, 안개가 끼거나, 비가 오는 특정한 상황에서는 객체 탐지가 힘들 것이다. 그러한 특정 상황 중에서 주야간에 모두 객체 탐지를 할 수 있도록 하는 모델을 제안한다. 기존의 3D 주행 데이터들은 대부분 주간 상황이 많아 야간에는 객체를 탐지하기 어려움이 있다. 그래서 이미지 변환 모델을 이용하여 주간 이미지와 쌍을 이루지 않는 야간 이미지를 기반으로 해당되는 주간 이미지를 야간 이미지로 변환 시킨다. 이 때 깊이 지도를 가이드로 활용하여 이미지 변환에 좀 더 도움이 될 수 있도록 하였다. 3D 객체 탐지 부분에서는 주행 이미지의 특성을 고려한 깊이 인식 컨볼루션을 사용한다. 또한 코너 손실을 적용하여 차량의 방향 각도를 보정하고, 이미지 변환 모델과 객체 탐지기 모델을 서로 미세 조정하며 학습을 진행하였다.
