Recently most infrared (IR) sensors have a focal-plane array (FPA) structure. The spatial non-uniformity of a FPA structure, however, introduces unwanted fixed pattern noise (FPN) to images. This non-uniformity correction (NUC) of a FPA can be categorized into target-based and scene-based approaches. In a target-based approach, FPN can be separated by using a uniform target such as a black body. Since the detector response randomly drifts along the time axis, however, several scene-based algorithms based on a video sequence have been proposed. Among those algorithms, the state-of-the-art one based on Kalman filter uses one-directional warping for motion compensation and only compensates for offset non-uniformity in IR camera detectors. The system model using one-directional warping cannot correct the boundary region where new scene is being introduced from the next video frame. Furthermore, offset-only correction approaches may not completely remove the FPN in images if it is considerably affected by gain non-uniformity. Therefore, for FPN reduction in IR videos, we propose a joint correction algorithm of gain and offset based on bi-directional warping. Experiment results using simulated and real IR videos show that the proposed scheme can provide better performance compared with the state-of-the art in FPN reduction.
최근 대부분의 적외선 센서는 focal-plane array (FPA) 구조로 되어있다. 이러한 구조의 센서는 공간적 불균일 응답성을 갖는 것으로 알려져 있고, 이로 인해 고정패턴잡음을 발생시킴으로써 영상열화를 가져온다. 그래서 적외선 영상의 고정패턴잡음을 제거하기 위해서는 픽셀 불균일 보정을 해야 한다. 픽셀 불균일 보정기법은 참조물체기반 접급법과 영상기반 접근법으로 나눌 수 있다. 참조물체기반 접근법에서는 흑체와 같은 균일한 온도를 갖는 물체를 이용해서 고정패턴잡음을 분리시킬 수 있는 방법이다. 하지만 센서의 응답성은 시간이 지나면서 변할 수 있기 때문에, 최근에는 비디오 영상을 이용하는 영상기반 접근법이 많이 연구되고 있다. 영상기반 접근법들 중에서 칼만필터를 기반으로 하는 최신 알고리듬은 영상 간에 움직임 보상 시에 한방향 워핑을 이용하고 센서의 offset 불균일성 만을 보상해준다. 한 방향 워핑을 이용한 시스템 모델은 영상의 경계 부근에서 고정패턴잡음을 효과적으로 제거하지 못한다. 게다가, offset만 보정하는 접근법은 gain의 불균일성의 영향을 많이 받는 영상에서는 성능이 악화될 수 있다. 그러므로 본 논문에서는 양방향 워핑을 이용하여 시스템 모델링을 하고, gain과 offset의 결합 보정을 수행하는 알고리듬을 제안한다. 모사 영상과 실제 영상에 대한 실험 결과들은 제안한 알고리듬이 기존 알고리듬들보다 더 효과적으로 고정패턴잡음을 제거하는 것을 확인할 수 있다.
