We propose FD3, a fundus image enhancement method based on direct diffusion bridges, which can cope with a wide range of complex degradations, including haze, blur, noise, and shadow. We first propose a synthetic forward model through a human feedback loop with board-certified ophthalmologists for maximal quality improvement of low-quality in-vivo images. Using the proposed forward model, we train a robust and flexible diffusion-based image enhancement network that is highly effective as a stand-alone method, unlike previous diffusion model-based approaches which act only as a refiner on top of pre-trained models. Through extensive experiments, we show that FD3 establishes the new state-of-the-art not only on synthetic degradations but also on in vivo studies with low-quality fundus photos taken from patients with cataracts or small pupils.
우리는 안개, 흐림, 노이즈 그리고 잡음 등 여러 복잡한 저하된 정도를 다룰 수 있는 직접 확산 모델 기반의 안저 사진 품질 향상 방법인 ’FD3’를 제안하였다. 해당 논문에서 낮은 품질의 실제 임상 데이터에서도 최상의 결과를 내기 위해 안과의사의 피드백을 받은 합성 저하 모델을 제안하였다. 이 모델을 기반으로 강하고 유연한 확산 모델 기반의 품질 향상 모델을 학습하였다. 이는 학습된 모델 위에서 정제하는 방법으로 작동하는 이전의 확산 모델과 달리, 이 모델 하나로도 좋은 결과를 낼 수 있는 네트워크이다. 여러 실험을 통하여, 우리는 FD3가 합성 데이터 뿐만 아니라 백내장이나 작은 동공을 가진 환자로부터 얻은 낮은 품질의 실제 안저 사진에서도 좋은 결과를 낼 수 있음을 확인하였다.
