As research on unmanned systems has been actively conducted recently, technology that recognizes obstacles and the surrounding environment, which is required for performing various tasks effectively, has become important. In maritime environments, radar has been used as a primary sensor to detect objects for navigation and collision avoidance, but recently, cameras are also being considered to improve the reliability and performance of detection and to perform it automatically. This study addresses active detection and identification by matching the relative position of floating objects detected by radar images and ships detected in camera images. First, convolutional neural networks are used to detect ships from camera images and to semantically classify marine radar images into floating object, noise, and land. Then, a newly developed robust data association algorithm is applied, using parameters representing the correlation between two sensor measurements. The performance of the proposed algorithm is validated using a camera and radar dataset obtained in real maritime environments.
최근 무인 시스템에 대한 연구가 활발히 이루어짐에 따라, 이들이 다양한 임무를 효과적으로 수행하기 위해 요구되는 주변 환경 및 장애물에 대한 능동적인 인식 기술이 중요해지고 있다. 해상 환경에서는 선박 운용에 있어 핵심적인 항법과 충돌 회피 등을 위해 레이더가 객체 탐지를 위한 기본 센서로 사용되어 왔지만, 최근에는 탐지의 신뢰성과 성능을 향상시키고 이를 자동으로 수행하기 위해 카메라가 추가적으로 고려된다. 본 연구는 레이더 이미지에서 탐지한 부유 물체의 상대 위치와 카메라 이미지에서 탐지한 선박을 연관하여 객체의 자동 탐지와 식별을 목표로 한다. 먼저, 합성곱 신경망을 이용하여 해상 레이더 이미지를 부유 물체, 잡음, 육지로 의미론적 분할하고 카메라 이미지에서 선박을 탐지한다. 다음으로 두 센서 측정값의 상관 관계를 나타내는 매개변수를 사용하여 통합적으로 데이터 연관하는 방법을 제안한다. 제안하는 알고리즘의 타당성을 실제 해양 데이터셋을 이용하여 검증한다.
