Various types of motion blur are frequently observed in the images captured by sensors based on thermal and photon detectors. The difference in mechanisms between thermal and photon detectors directly results in different patterns of motion blur. Motivated by this observation, we propose a novel method to synthesize blurry images from sharp images by analyzing the mechanisms of the thermal detector. Further, we propose a novel blur kernel rendering method, which combines our proposed motion blur model with the inertial sensor in the thermal image domain. The accuracy of the blur kernel rendering method is evaluated by the task of thermal image deblurring. We construct a synthetic blurry image dataset based on acquired thermal images using an infrared camera for evaluation. This dataset is the first blurry thermal image dataset with ground-truth images in the thermal image domain. Qualitative and quantitative experiments are extensively carried out on our dataset, which shows that our proposed method outperforms state-of-the-art methods. Furthermore, we applied the gyro-aided blur kernel rendering method to the object tracking. We propose a novel gyro-based tracking assistant designed to excel in aerial environments, where the use of drones equipped with infrared cameras is expanding rapidly. Our proposed method comprises two sub-modules. First, the search region prediction module independently estimates the search region position for the current frame using only gyroscope sensor data. The prediction module estimates the displacement of the search area location between adjacent frames due to camera motion using the homography transform. Second, the search region deblurring module renders a blur kernel using only gyroscope sensor data. The deblurring module introduces an approach that models an infrared sensor mechanism and merges this model with the homography transform to synthesize the blur kernel. The rendered blur kernel is used to deblur the search region with a deconvolution algorithm. To quantitatively evaluate our proposed method, we constructed a dataset ourselves. We collected and synchronized gyroscope sensor data and infrared images in a configuration similar to a drone environment. Our dataset comprises 15 sequences and two classes, with camera motion effects encompassing six distinct steps. Our experiments were structured into two main categories. First, we analyzed the degradation in tracking performance caused by camera motion. This analysis revealed that displacement has a more significant impact on tracking performance than motion blur. Second, we evaluated the effectiveness of our gyro-based tracking assistant. Through extensive quantitative experiments, we demonstrated that our integrated tracker outperforms the use of state-of-the-art trackers alone.
열 감지기와 광자 감지기를 기반으로 한 센서로 캡처한 이미지에서는 다양한 유형의 모션 블러가 관찰됩니다. 열 감지기와 광자 감지기 간의 메커니즘 차이로 인해 모션 블러의 패턴이 달라집니다. 이러한 관찰에 동기를 부여하여 우리는 열 감지기의 메커니즘을 분석하여 선명한 이미지에서 흐릿한 이미지를 합성하는 새로운 방법을 제안합니다. 또한 제안된 모션 블러 모델과 열화상 영역의 관성 센서를 결합한 새로운 블러 커널 렌더링 방법을 제안합니다. 블러 커널 렌더링 방법의 정확성은 열화상 디블러링 작업을 통해 평가됩니다. 평가를 위해 적외선 카메라를 사용하여 획득한 열 이미지를 기반으로 합성 흐릿한 이미지 데이터 세트를 구성합니다. 이 데이터세트는 열화상 영역에서 실측 이미지가 포함된 최초의 흐릿한 열화상 데이터세트입니다. 우리의 데이터 세트에 대해 정성적, 정량적 실험이 광범위하게 수행되었으며, 이는 우리가 제안한 방법이 최첨단 방법보다 성능이 우수하다는 것을 보여줍니다. 또한 우리는 객체 추적에 자이로 보조 블러 커널 렌더링 방법을 응용했습니다. 적외선 카메라를 장착한 드론의 활용이 급속도로 확대되고 있는 항공 환경에서 탁월한 성능을 발휘하도록 설계된 새로운 자이로 기반 추적 보조 장치를 제안합니다. 우리가 제안한 방법은 두 개의 하위 모듈로 구성됩니다. 먼저, 검색 영역 예측 모듈은 자이로스코프 센서 데이터만을 이용하여 현재 프레임에 대한 검색 영역 위치를 독립적으로 추정한다. 예측 모듈은 호모그래피 변환을 사용하여 카메라 움직임으로 인한 인접 프레임 간의 검색 영역 위치 변위를 추정합니다. 둘째, 검색 영역 디블러링 모듈은 자이로스코프 센서 데이터만을 사용하여 블러 커널을 렌더링합니다. 디블러링 모듈은 적외선 센서 메커니즘을 모델링하고 이 모델을 호모그래피 변환과 병합하여 블러 커널을 합성하는 접근 방식을 도입합니다. 렌더링된 블러 커널은 디콘볼루션 알고리즘을 사용하여 검색 영역의 블러를 제거하는 데 사용됩니다. 제안한 방법을 정량적으로 평가하기 위해 직접 데이터 세트를 구성했습니다. 드론 환경과 유사한 구성으로 자이로스코프 센서 데이터와 적외선 이미지를 수집하고 동기화했습니다. 우리의 데이터 세트는 15개의 시퀀스와 2개의 클래스로 구성되어 있으며 카메라 모션 효과는 6개의 개별 단계를 포함합니다. 우리의 실험은 두 가지 주요 범주로 구성되었습니다. 먼저, 카메라 움직임으로 인한 추적 성능 저하를 분석했습니다. 이 분석을 통해 변위는 모션 블러보다 추적 성능에 더 큰 영향을 미치는 것으로 나타났습니다. 둘째, 자이로 기반 추적 도우미의 효율성을 평가했습니다. 광범위한 정량적 실험을 통해 우리는 통합 추적기가 최첨단 추적기를 단독으로 사용하는 것보다 성능이 우수하다는 것을 입증했습니다.
