The 3D object detection that identifies the types and locations of objects around a vehicle is crucial to enhance driving safety and reduce accident rates. For 3D object detection to be effective in a vehicle environment, it should be capable of precisely measuring the 3D position of objects, operating robustly in the presence of abnormal sensor input, and functioning fast in high-speed driving scenarios where surrounding objects move rapidly. In particular, this technology must operate efficiently under conditions of low-cost sensors and limited computing resources.
In this dissertation, we delve into the topic of multi-sensor fusion methods that employ camera and radar sensors to achieve 3D object detection that is both robust and accurate while remaining efficient. To address this, we introduce a robust fusion method that adaptively fuses information from each sensor by obtaining the weights of the camera and radar, enabling the model to operate effectively even when one of the two sensor inputs is partially abnormal. Secondly, we present a sensor fusion method that takes into account the complementary spatial and contextual characteristics of cameras and radars. By doing so, we can leverage the strengths of each sensor to boost the overall performance of the system. Finally, we suggest a method for transforming the information from each sensor into a unified coordinate system. This tackles the issue of cameras and radar sensors having different coordinate systems and ensures that sensor fusion-based 3D object detection technology can satisfy real-time requirements and achieve high performance.
차량 주변 물체의 종류와 위치를 식별하는 3차원 객체 검출 기술은 차량 주행의 안전성을 향상시키고 사고율을 감소시키는 데 있어 필수적이다. 차량 환경에서의 객체 검출 기술은 물체의 3차원 위치를 정확하게 측정할 수 있어야 하고, 센서 입력이 비정상적인 상황에서도 강인하게 동작해야 하며, 주변 물체가 빠르게 움직이는 고속 주행 상황에서도 빠른 속도로 동작할 수 있어야 한다. 또한, 이러한 기술은 저가의 센서 및 한정적인 컴퓨팅 자원 조건에서도 빠르고 효율적으로 작동해야 한다.
본 학위 논문에서는 카메라와 레이다 센서 기반의 다중 센서 융합을 사용하여 강인하고, 정확하며, 효율적으로 동작하는 3차원 객체 검출 방법들을 다룬다. 먼저, 강인한 센서 융합을 위해 카메라와 레이다의 가중치를 이용하여 각 센서의 정보를 선택적으로 융합하는 방법을 제안하였다. 이를 통해 두 센서 입력 중 하나가 부분적으로 불완전한 경우에도 객체 검출 모델이 강인하게 동작할 수 있는 방법을 제시했다. 또한, 카메라와 레이다가 공간적, 의미론적으로 상호 보완적인 특성을 가지는 것을 고려하여 의미론적 정보가 풍부한 카메라와 뛰어난 거리 측정 성능을 가지는 레이다의 장점을 활용할 수 있는 센서 융합 방법을 제안하였다. 마지막으로, 카메라와 레이다 센서가 서로 다른 좌표계를 가지기 때문에 센서 융합이 어려워지는 문제를 해결하기 위해 각 센서의 정보를 통합된 좌표계로 변환한 뒤 융합하는 방법을 제안하여 센서 융합 기반 3차원 객체 검출 기술이 높은 성능을 내면서 효율적으로 동작할 수 있음을 보였다.
