In autonomous driving technology, perception technology for recognizing a peripheral environment is rapidly developed with attention of deep learning. Because sensors used in perception technology have clear advantages and disadvantages, fusion technologies using two or more sensors have been studied to compensate the disadvantage of each sensors and performance improvement. Radar sensor is cheaper than LiDAR, and is robust to external environmental changes, but because of its poor lateral accuracy, research for commercialization has been underway by integrating it with camera to compensate its weakness. However, conventional high level Radar data has a disadvantage that features existing in the low-level data disappear during the data signal processing. Research using low-level radar is attempted to take advantage of the characteristics of low-level data, however, it is difficult because there is no public training dataset including low-level Radar data.
In this paper, a deep learning algorithm detecting peripheral vehicles by fusing a range-azimuth low-level Radar signal which minimize a raider signal processing process with a camera image is proposed. Training data including a low-level Radar signal and image data are collected to construct new dataset for network training. The proposed algorithm proceeds with the following process to detect the vehicle. In order to merge radar-camera data that exist in different coordinate systems, a box is generated on a 3D space and projected to each sensor’s feature map to extract and merge feature values of corresponding positions in each coordinate system. The merged feature values output vehicle position, size, and probability through the network, and the box with the higher probability are selected and projected again to each feature map to finally output the vehicle position, size per meter and probability.
This paper is expected to demonstrate robust vehicle detection performance by collecting and using low-level Radar data that have not been included in public datasets yet, utilizing features that have been lost from Radar signal process, and merging them with image data.
자율주행 기술에 있어, 주변 환경을 파악하는 인지 기술은 딥러닝의 주목과 함께 급격하게 발전하고 있다. 인지 기술에 사용되는 센서들은 각각의 장단점이 명확하기 때문에, 단점을 보완함과 동시에 성능을 향상하기 위해 두 가지 이상의 센서를 사용한 퓨전 기술이 연구되고 있다. 레이다 센서는 라이다보다 비교적 가격이 저렴하면서 외부 환경 변화에 강건하지만, 횡방향 정확도가 낮기 때문에 이를 보완하기 위해 카메라와 융합하여 상용화하려는 연구가 진행되고 있다. 하지만 기존의 레이다 센서는 로우-레벨 데이터에 존재하는 특징들이 데이터 처리 과정을 거치면서 소실된다는 단점이 있다. 소실되는 데이터의 특징을 활용하기 위해 로우-레벨 레이다를 이용한 연구들이 시도되지만, 로우-레벨 데이터를 포함하는 공개된 학습 데이터셋이 없어 연구에 어려움이 있다.
본 논문에서는 레이다 신호 처리 과정을 최소화한 레인지-아지무스 로우-레벨 레이다 신호를 카메라 이미지와 융합하여 주변 차량을 검출하는 딥러닝 알고리즘을 제안한다. 이를 위해 로우-레벨 레이다 신호와 이미지 데이터를 포함하는 자율주행 학습 데이터를 수집하여 데이터 데이터셋을 구축한다. 제안하는 알고리즘은 차량을 검출하기 위해 다음과 같은 과정을 진행한다. 서로 다른 좌표계에 있는 레이다-카메라 데이터를 융합하기 위해 3차원 공간상에서 박스를 생성하고 이를 각 센서 특징 맵으로 투영하여 각 좌표계에서 해당하는 위치의 값을 추출하여 융합한다. 융합된 특징값들은 네트워크를 통해 차량의 위치, 크기 그리고 차량일 확률을 출력하고, 출력된 값 중에서 높은 확률을 가지는 박스들은 다시 각 특징맵으로 투영하여 위와 같은 과정을 한 번 더 진행해 최종적으로 미터 단위의 차량 위치, 크기, 방향 그리고 차량일 확률을 출력한다.
본 논문은 기존에 데이터셋으로 공개되지 않은 로우-레벨 레이다 데이터를 수집 및 사용하여, 하이-레벨 레이다 데이터에서 소실되었던 특징들을 활용하고, 이를 이미지 데이터와 융합함으로써 강건한 차량 검출 성능을 보일 것으로 기대된다.
