Recent denoising methods based on deep neural networks commonly require a paired set of a clean image and its noisy version for training. However, in the microscopic or biomedical images, collecting the pairs is difficult, possibly requiring a human-in-the-loop process at an expensive cost. To overcome this problem, Noise2Noise (N2N) and Noise2Void (N2V) have been proposed to train the denoising network by only using noisy images. Nevertheless, N2N is applicable in a limited condition because it requires a noisy image pair from the same scene, which is difficult for dynamically living cells. In the case of N2V, the model only handles pixel-wise independent noise, so it cannot denoise a wide-field microscopic image that has noise appearing in multiple pixels. In this thesis, we introduce an unsupervised distribution-free denoising network, subNoise2subNoise (sN2sN), which does not require any noisy image pairs or assume pixel-wise independent noise. Our approach is based on the observation that a small patch of the clean natural resemble the adjacent patches. Our model is trained to make patches of the output to resemble each other and denoises an entire image at once during the inference time. We compare our method to the existing unsupervised denoising models on wide-field microscopic images and show that sN2sN quickly erases pixel-wise dependent noise that could not be denoised in the previous methods.
최근의 심층 신경망을 사용하는 잡음 제거 방법들은 일반적으로 깨끗한 사진과 잡음이 있는 사진이 짝 지어진 데이터 셋이 필요하다. 그러나, 미생물이나 생의학 사진의 경우 이러한 짝을 모으는 것은 가능하면 사람의 손을 필요로하여 비싼 비용이 든다. 이러한 문제를 해결하기 위하여 잡음 제거 모델을 잡음 사진만을 이용하여 학습 시키는 Noise2Noise (N2N)과 Noise2Void (N2V)가 제안되었다. 그럼에도 불구하고 N2N은 같은 장면의 잡음 사진 짝을 요구하기 때문에 동적으로 살아 움직이는 세포에선 적용되기 힘들며 제한된 상황에서만 사용이 가능하다. N2V의 경우에도 픽셀 독립적인 잡음만을 다룰 수 있기 때문에, 잡음이 여러 픽셀에 걸쳐 나타나는 대면적 현미경 사진에 사용될 수 없다. 본 논문에서는 잡음분포 독립적인 비지도 잡음 제거 모델인 subNoise2subNoise (sN2sN)을 다루며, 이 모델은 어떠한 잡음 사진 짝이나 픽셀 독립적인 잡음을 가정하지 않는다. 우리는 자연 속 깨끗한 이미지의 작은 패치는 주변 패치를 닮는다는 관측을 기반으로, 모델 출력의 작은 패치들을 서러 닮도록 학습시켰으며, 추론시 전체 사진의 잡음을 한번에 제거할 수 있도록 하였다. 그 결과, 기존 존재하는 잡음 제거 모델과 비교하여 sN2sN은 대면적 현미경 사진에서 픽셀 비독립적 잡음을 빠르게 제거 할 수 있다는 것을 확인하였다.
