As research on autonomous driving technology is actively conducted around the world, research using autonomous driving sensors such as LiDAR, radar, and vision camera is also being actively conducted. Accordingly, research on object detection and tracking using these autonomous driving sensors is also being actively conducted. However, due to the advantages and disadvantages of each sensor and the vulnerability to environmental changes such as snow, rain, fog, and night situations, research is currently focused on autonomous driving in daytime and good weather conditions. In recent years, research on autonomous driving in snowy environments has been gradually progressing mainly in Northern Europe and North America, which are regions where there is a lot of snow. In particular, as the military, which is essential for combat in extreme conditions day and night, is also conducting unmanned weapon systems, research on autonomous driving in the defense field is actively progressing, and interest in developing autonomous driving technology in extreme environment conditions is growing.
Accordingly, in this paper, we propose an autonomous driving sensing system that can robustly detect and track objects even in extreme environmental conditions such as snow, rain, fog, and night. First, the radar sensor is robust to environmental changes, but the resolution is relatively low when acquiring position information or object shape compared to other sensors. Therefore, we improve location accuracy through Kalman filter fusion with LiDAR sensor, and complement object classification and visualization abilities through sensor fusion with mono camera.
At this time, to overcome the shortcomings of LiDAR sensor vulnerable to environmental changes such as snow, rain, fog, and dust, a filter was developed that can remove noise in real time, and then an object detection system using LiDAR point cloud applied with this filter was developed and fused with LiDAR sensor through Kalman filter. In addition, a real-time weather condition recognition system using snow particles removed by noise removal filters was developed to provide additional weather information necessary for controlling autonomous vehicle.
Through the development of an all-weather detection and tracking system, it is expected that not only autonomous vehicle technology, but also unmanned combat vehicles, unmanned robots, GOP border security systems, attack drones, and UAVs in the defense field will be available.
전 세계적으로 자율주행차량 개발이 활발히 진행됨에 따라 라이다, 레이다, 카메라 등을 활용한 객체 탐지 및 추적에 관한 연구가 활발히 진행되고 있지만 각 센서들이 가지고 있는 장/단점과 눈, 비, 안개, 야간 상황과 같은 환경변화에 대한 취약성으로 인해 그동안 주간 및 좋은 기상조건 위주로 연구가 진행되어 왔다. 하지만 최근 들어 눈이 많이 오는 지역인 북유럽 및 북미를 중심으로 자율주행 연구가 진행되고 있으며, 특히 극한환경에서 전투가 필수적인 군 역시 무인전투체계 개발을 추진함에 따라 극한환경 조건에서의 자율주행 기술 개발에 대한 관심이 점차 커지고 있다.
이에 따라 본 연구에서는 눈, 비, 안개, 야간과 같은 극한환경 조건에서도 객체를 강인하게 탐지하고 추적할 수 있는 전천후 자율주행 센서시스템을 제안하고자 한다. 먼저 레이다 센서는 환경 변화에 강인한 장점이 있지만 다른 센서에 비해 위치 정보나 물체의 형상 취득 시 정확도 (resolution)가 상대적으로 떨어지는 단점이 있다. 이에 따라 위치 정확도는 라이다 센서와 칼만필터 퓨전을 통해 개선하고 물체 분류 (classification) 능력은 모노 카메라와의 퓨전을 통하여 개선하였다. 이 때, 환경변화에 취약한 라이다 센서의 단점을 극복하기 위해 눈, 비, 먼지 등에 의해 발생한 노이즈를 실시간 제거할 수 있는 필터를 개발하였으며, 이후 이 필터가 적용된 라이다 포인트 클라우드를 활용한 오브젝트 디텍션 시스템을 개발한 뒤 이를 칼만필터를 통해 레이다 센서와 퓨전하였다. 이와 함께 노이즈 제거 필터로 제거된 눈 입자를 활용한 실시간 기상상태 인식 시스템을 개발하여 자율주행차량 제어 시에 필요한 기상 정보를 추가적으로 제공할 수 있도록 하였다.
이를 통해 모든 장소 및 기상조건에서도 물체를 안정적으로 탐지 및 추척할 수 있는 전천후 객체 탐지 및 추적 시스템을 개발하였으며, 이는 향후 민간 자율주행차량 개발 뿐만 아니라 국방분야의 무인전투차량, 무인로봇, GOP 무인화 경계시스템, 공격용 드론, UAV 등에 적용 시 그 활용도가 매우 높을 것으로 기대된다.
