Recently, diffusion models have demonstrated excellent performance on a range of image generation tasks, outperforming Generative Adversarial Networks (GANs). However, diffusion models require large-scale training datasets for training, and if the number of training samples is insufficient, the model is unable to generate diverse samples and simply replicates the training data. In this work, I propose a novel diffusion model adaptation method that utilizes a pre-trained model to adapt to few-shot datasets, which provide 10 or fewer training samples. To achieve this, I fine-tune diffusion models with the diffusion loss and use a modified cross-domain distance consistency loss to prevent overfitting. In addition, I propose source model-guided sampling, which preserves the overall structure of the generated sample from the source model. To demonstrate the performance and adaptation capability in few-shot settings, I conducted quantitative and qualitative experiments in various data domains. Furthermore, I extend the proposed framework to various image translation tasks by using the pre-trained source model jointly in the sampling process. The experimental results show that the proposed method is effective at adapting diffusion models to few-shot datasets and can be applied to various image translation tasks.
최근 확산 모델은 다양한 이미지 생성 작업에서 GAN을 뛰어넘는 놀라운 성능을 보여주고 있다. 그러나 학습을 위해 대규모 학습 데이터 세트가 필요하다. 특히, 학습 샘플의 수가 부족하면 모델은 다양한 샘플을 생성할 수 없고 학습 이후에 학습 데이터를 복제할 위험이 있다. 이러한 한계를 극복하기 위해, 우리는 10개 이하의 학습 샘플에 대해서도 학습하고 다양한 샘플을 생성하기 위한 사전 학습된 모델을 활용하는 새로운 확산 모델 적응 방법을 제안한다. 이를 위해, 우리는 변형된 교차 도메인 거리 일관성 손실을 사용하여 과적합을 방지하면서 확산 손실로 모델을 미세 조정한다. 또한, 우리는 사전 학습 모델에서 생성된 샘플의 전반적인 구조를 유지하는 소스 모델 유도 샘플링을 제안한다. 퓨샷 상황에서 성능과 적응 능력을 입증하기 위해 다양한 데이터 영역에서 정량적 및 정성적 실험을 수행했다. 또한 이전 연구와 달리, 우리는 제안된 프레임워크를 샘플링 프로세스에서 사전 학습된 모델을 함께 사용하여 다양한 이미지 변환 작업으로 확장 했다.
