Accurate perception for surroundings of autonomous driving car is crucial for ensuring safety. Various sensors are used in 3D object detection to precisely measure the 3D positions and categorize the types of objects around vehicles. Recently, researches that utilize camera and radar, which have complementary characteristics and cost-effective than LiDAR, have gained great attention. In particular, studies using radar in the process of transforming images from perspective view to bird’s eye view show promising performance. However, forward projection based camera radar fusion only operates once which makes over dependent to depth distribution, and obtained bev features are sparse. Additionally, studies based on backward projection have not fundamentally addressed the false positive problems caused by the absence of depth information. In this paper, to mitigate aforementioned limitations, we utilize a radar that provides accurate information in the range direction, minimizing the depth ambiguity of the model based on backward projection. Firstly, our network utilizes both the predicted depth distribution from images and the radar occupancy to transform the context information of the perspective view image more accurately into the bird’s-eye view space. Furthermore, by extracting radar context information in the width and depth directions and performing attention operations, we ensure that even for the same ray, different depth information is considered. Quantitative results show that our proposed method enhances all 3D object detection performance metrics due to better depth discrimination. Moreover, in qualitative results, observing the direction of light beams from the perspective of the ego vehicle shows a reduction in false positive. The proposed method in this thesis is expected to contribute significantly to the advancement of camera-radar fusion research for 3D object detection.
자율주행 차량 주변 상황을 정확하게 3차원으로 인식하는 것은 안전성 보장을 위해 중요하다. 인지의 한 종류인 차량 주변 객체의 3차원 위치를 정확하게 측정하고 종류를 알아내는 3차원 객체 검출 기술에는 다양한 센서가 사용된다. 그 중 서로 상호 보완적인 성격을 갖고, 라이다에 비해 가격이 저렴한 카메라와 레이더를 같이 사용하여 3차원 객체 검출을 하는 연구들이 주목을 받고있다. 특히 이미지를 투시도에서 조감도로 변환하는 과정에 레이더를 활용하는 연구들이 좋은 성능을 보여 주고 있다. 그러나 정투영 변환을 기반으로 한 카메라-레이더 융합 연구는 한 번의 연산 과정만 진행되므로 깊이 정보에 지나치게 의존하며 변환을 통해 얻은 조감도 공간의 특징이 희박하다는 단점이 존재한다. 또한 역투영 변환 기반으로 한 연구들은 깊이 정보의 부재로 인해 광선 방향으로 생기는 오검출 문제를 근본적으로 해결하지 못했다. 본 논문에서는 앞서 언급한 문제점들을 해결하기 위해 역투영 방법을 기반으로 한 모델의 깊이 모호성이 최소화 되도록 거리 방향으로 정확한 정보를 제공해주는 레이더를 활용한다. 첫번째로 네트워크를 통해 이미지로부터 예측한 깊이 분포와 더불어 레이더 점유 격자를 활용하여 이미지의 문맥 정보를 보다 더 정확하게 조감도 공간으로 변환한다. 더 나아가, 레이더 문맥 정보를 너비,깊이 방향으로 추출한 후, 어텐션 연산을 수행하여 같은 광선에 있더라도 서로 다른 깊이 정보를 가져오도록 한다. 정량적 결과를 보면, 제안한 방법은 깊이를 이전보다 잘 구분하기 때문에 모든 3차원 객체 검출 성능 지표가 향상되는 것을 알 수 있다. 또한 정성적인 결과에서 자차량 기준 빛 줄기 방향을 관찰하면 오검출이 줄어드는 것을 확인할 수 있다. 본 논문에서 제안한 방법은 3차원 객체 검출을 위한 카메라 레이더 융합 연구 발전에 크게 기여할 것으로 기대할 수 있다.
