In the Simultaneous Localization And Mapping technology for autonomous driving robots, the camera provides semantic information, and the LiDAR provides accurate position for the surrounding environ- ment. However, the camera image is sensitive to external light, such as at night and a sudden changing of light source, so fatal problems such as tracking loss occur. There are many attempts to replace con- ventional cameras with Thermal cameras in SLAM area. For the sensor fusion of Thermal camera and LiDAR data, it is very important to accurately calculate the transformation between the coordinate sys- tems defined based on each sensor. This is called calibration. Conventionally, chessboard target is used for calibration of a camera and LiDAR. The calibration is performed by deriving the three-dimensional coordinates of the corner points through the triangulation and matching them with the points obtained from the LiDAR. For this reason, a clear corner point of the target is a very important factor in camera calibration. However, unlike cameras that measure light in the visible range, Thermal cameras measure infrared light emitted from the surface of an object. This infrared radiation is related to the temperature of the object’s surface, blur in thermal image is inevitable due to heat transfer. Therefore, it is difficult and inaccurate to find a clear corner point in the chessboard-shaped target. To overcome this problem,this thesis proposes a targetless calibration method beteween Thermal camera and LiDAR.
로봇의 자율주행을 위한 동시적 위치추정 및 지도작성 기술에 있어 카메라는 의미적 정보를 제공하고, 라이 다는 주변 환경에 대한 정확한 좌표값을 제공하기 때문에 두 센서를 융합하여 불확실성을 최소화하고자 하는 연구는 매우 중요하게 다루어지고 있다. 그러나 카메라 이미지는 밤과 같이 외부 광량이 적은 환경과 갑작 스러운 광원의 변화 등에 대해 민감하여 해당 환경에서 추적 실패 등의 치명적인 문제가 발생한다. 이러한 것을 이유로 카메라를 열화상 카메라로 대체하여 광조건에 강건한 위치추정 및 지도작성에 대한 연구들이 이루어지고 있다. 열화상 카메라와 라이다 데이터의 융합을 위해 각 센서들을 기준으로 정의된 좌표계들 사이의 변환관계를 정확하게 도출하는 것은 매우 중요하다. 이를 캘리브레이션이라고 한다. 기존에 일반 카메라와 라이다의 캘리브레이션에는 체스보드 형태의 타겟이 이용되어 삼각층량법을 통해 코너점들의 3 차원 좌표를 도출하여 라이다로부터 취득된 점들과 정합하는 방법으로 캘리브레이션이 이루어진다. 이러 한 이유로 타겟의 명확한 코너점은 카메라 캘리브레이션에 있어 매우 중요한 요소이다. 그러나 가시광선 범위의 빛을 수광하는 카메라와는 달리 열화상 카메라는 물체의 표면에서 방출되는 적외선을 측정한다. 이 적외선은 물체 표면의 온도와 관련이 되어 열화상 이미지에는 열전달에 의한 블러가 발생한다. 따라서 기존 카메라에서 사용되는 체스보드 형태의 타겟에서 명확한 코너점을 찾아내는 것이 어렵고 정확하지 못하다. 본 학위논문에서는 이러한 문제를 극복하고자 기존에 패턴을 사용하는 캘리브레이션 방법과는 달리 타겟을 사용하지 않고 열화상 카메라에서 취득된 이미지와 3차원 라이다로부터 취득된 정보를 이용한 캘리브레이션 방법을 제안한다.
