Real-world vision tasks frequently suffer from the appearance of adverse weather conditions including rain, fog, snow, and raindrops in captured images. Recently, several generic methods for restoring weather-degraded images have been proposed, aiming to remove multiple types of adverse weather effects present in the images. However, these methods have considered weather as discrete and mutually exclusive variables, leading to failure in generalizing to unforeseen weather conditions beyond the scope of the training data, such as the co-occurrence of rain, fog, and raindrops. To this end, weather-degraded image restoration models should have flexible adaptability to the current unknown weather condition to ensure reliable and optimal performance. The adaptation method should also be able to cope with data scarcity for real-world adaptation. This paper proposes MetaWeather, a few-shot weather-degraded image restoration method for arbitrary weather conditions. For this, we devise the core piece of MetaWeather, coined Degradation Pattern Matching Module (DPMM), which leverages representations from a few-shot support set by matching features between input and sample images under new weather conditions. In addition, we build meta-knowledge with episodic meta-learning on top of our MetaWeather architecture to provide flexible adaptability. In the meta-testing phase, we adopt a parameter-efficient fine-tuning method to preserve the prebuilt knowledge and avoid the overfitting problem. Experiments on the BID Task II.A dataset show our method achieves the best performance on PSNR and SSIM compared to state-of-the-art image restoration methods.
현실에서 배포된 컴퓨터 비젼 모델들은 비, 안개와 같은 부정적인 기상 조건의 외형으로 인해 영향을 받는다. 최근에는 촬영된 이미지에서 존재하는 다양한 유형의 악영향을 끼치는 기상 효과를 제거하는 이미지 복원을 위한 여러 방법이 제안되었으나 훈련 데이터의 범위를 벗어난 예상치 못한 날씨 조건에 대한 일반화에 실패하였다. 따라서 날씨로 인한 저품질 이미지 복원 모델은 학습 과정 중 보지않았던 날씨 조건에 대해 신뢰성 있고 최적의 성능을 보장하기 위해 유연한 적응성을 가져야 한다. 또한, 날씨에 따른 이미지 복원 모델은 실제 환경에서의 데이터 부족에도 대처할 수 있어야 한다. 따라서 해당 논문에서는 임의의 날씨 조건에 대한 퓨샷 이미지 복원 방법론을 제안한다. 이를 위해 새로운 날씨 조건에서 입력 및 샘플 이미지 간의 특징 일치를 통해 소수의 이미지들로부터 얻은 표현을 활용하였다. 더불어, 해당 네트워크에 메타 학습을 통한 메타 지식을 구축하여 유연한 적응성을 제공한다. 적응 단계에서는 파라미터 효율적인 미세 학습 방법을 도입하여 미리 구축된 지식을 보존하고 오버피팅 문제를 피한다. BID Task II.A 데이터셋에서 우리의 방법이 최신 이미지 복원 방법과 비교하여 PSNR 및 SSIM에서 높은 성능을 달성하였다.
