Deep generative models are proficient at generating realistic data but struggle to produce rare samples in low-density regions due to the scarcity of such samples in training datasets and the mode collapse problem. While recent methods aim to improve the fidelity of generated samples, they often reduce diversity and coverage by overlooking rare and novel instances. This study proposes a novel approach for generating diverse rare samples from high-resolution image datasets using pretrained GANs. Our method performs gradient-based optimization of latent vectors within a multi-objective framework and employs normalizing flows for density estimation in the feature space. This enables the generation of diverse rare images with controllable parameters for rarity, diversity, and similarity to a reference image. We demonstrate the effectiveness of our approach both qualitatively and quantitatively across various datasets and GAN architectures, without retraining or fine-tuning the pretrained models.
심층 생성 모델은 사실적인 데이터를 생성하는 데에는 능하지만, 훈련 데이터에 희귀 샘플이 부족하고 모델 학습 방식에 따른 모드 붕괴 문제가 존재하여, 밀도 낮은 영역에서는 표본을 효과적으로 생성하지 못한다. 최근 방법들은 생성된 각각의 표본의 품질을 향상하는 것을 목표로 하지만, 이는 희귀하고 새로운 표본을 무시함으로써 다양성과 커버리지를 저하하는 경우가 많다. 본 연구는 사전 학습된 생성적 적대 신경망(GAN)을 사용하여 고해상도 이미지 데이터 세트에서 다양한 희귀 표본을 생성하는 새로운 접근 방식을 제안한다. 제안하는 방법론은 다목적 최적화 구조 내에서 잠재 벡터의 그래디언트 기반 최적화를 사용하며, 특성 공간에서의 밀도 추정을 위해 정규화 흐름(Normalizing Flow) 모델을 활용한다. 표본의 희귀도, 다양성, 참조 이미지와의 유사성을 조절할 수 있는 파라미터를 이용하여 다양한 희귀 이미지를 생성할 수 있다. 우리는 사전 학습된 생성 모델을 재학습하거나 미세 조정하지 않고도 다양한 데이터 세트와 GAN에서 제안한 방법론이 효과적임을 질적 및 양적으로 입증하였다.
