Infrared images that can detect radiant energy emitted from objects and people are receiving more attention than ever. However, the infrared image is essentially corrupted by stripe pattern noise (FPN) due to the detector's signal readout properties. Recently, various researches based on deep learning have been proposed for FPN de-noising. However, existing deep learning-based methods still have performance limitations such as lack of robustness and discrimination. In particular, since FPN has the property of appearing in the vertical direction, image information in the vertical direction could be corrupted inevitably during a de-noising process. Most of the existing methods did not sufficiently consider the lost details recovery mechanism.
In this paper, we propose a novel deep dual de-noising network based on a residual learning strategy to tackle the above limitations. To this end, first, we designed the stripe pattern de-noising network based on a two-level encoding-decoding structure capable of symmetrically combining feature maps, and FPN was estimated from corrupted images through residual learning. At this time, in order to extract the stripe noise effectively, the functional module composed of the densely connected residual layers was applied. Secondly, detailed information recovering network was designed to restore lost details in the de-noising process. The coarsely estimate FPN is decomposed into four sub-bands using the Haar wavelet transformation, and through residual learning, the lost information is directly estimated using the details extraction module from the low-frequency components and horizontal high-frequency components including both FPN and lost information. Finally, from the learning result of the stripe pattern noise de-noising network, and the lost information extracted by the detailed information recovering network, we reconstructed a noise-free infrared image without FPN while maintaining image details.
Through comparative experiments using corrupted synthetic infrared images and real infrared images, we showed qualitatively and quantitatively that the proposed method achieved outstanding performance in terms of the de-noising robustness against FPN intensities, the improved de-noising discrimination for different FPN, and the recovering ability of lost information
사물이나 사람에게서 방출되는 복사 에너지를 감지할 수 있는 적외선영상은 그 어느 때보다 많은 관심을 받고 있다. 하지만, 적외선 영상은 검출기의 신호취득 특성으로 인하여 본질적으로 스트라이프 패턴 잡음에 의해 손상된다. 최근, 딥러닝 기반의 많은 연구가 스트라이프 패턴 잡음의 디노이징을 위하여 제안되었다. 하지만 기존 딥러닝 기반 디노이징 방법들은 여전히 강건성 및 판별력 부족과 같은 성능적 한계를 갖고 있다. 특히, 스트라이프 패턴 잡음은 수직 방향성을 갖기 때문에 디노이징 과정에서 수직방향의 정보가 불가피하게 손상되는 경우가 발생한다. 기존의 방법들은 이러한 소실된 정보를 보존 또는 복원할 수 있는 메커니즘에 대한 고려가 충분하지 않았다.
본 논문에서는, 상기와 같은 한계들을 극복하기 위하여 잔차 학습 전략을 기반으로 하는 새로운 심층 이중 디노이징 네트워크를 제안한다. 이를 위하여, 먼저 대칭적으로 특징맵을 결합할 수 있는 두 단계 인코팅-디코팅 구조를 기반으로 스트라이프 패턴 디노이징 네트워크를 설계하였고, 잔차 학습을 통하여 손상된 영상에서 패턴 잡음을 추정하였다. 이때, 스트라이프 잡음을 효과적으로 추출하기 위하여 밀도 있게 연결된 잔차 계층들로 구성된 기능 모듈을 적용하였다. 다음으로, 디노이징 과정에서 소실된 영상정보를 복원하기 위하여 영상 정보 복구 네트워크를 설계하였다. 웨이블릿 변환을 이용하여 추정된 스트라이프 패턴을 주파수 성분 별로 분해하고, 패턴 잡음과 소실된 정보를 모두 포함하는 저주파 성분과 수평방향 고주파 성분에서 상세 정보 추출 모듈을 이용하여 손실된 정보를 직접적으로 추정하도록 잔차 학습을 수행하였다. 마지막으로, 디노이징 네트워크의 학습 결과와 정보 복구 네트워크로 추출한 손실 정보로부터 잡음이 제거되고 상세 정보가 복원된 적외선 영상을 재구성하였다.
손상된 합성 적외선 영상과 적외선 실 영상을 이용한 비교 실험들을 통하여, 제안된 방법이 패턴 잡음의 크기에 대한 디노이징 강건성, 다른 형태의 스트라이프 패턴 잡음에 대한 개선된 판별력, 그리고 소실된 정보 복구 능력 측면에서 뛰어난 성능을 달성했음을 정성적이고 정량적으로 검증하였다
