Token-based masked generative models are gaining popularity for their fast inference time with parallel decoding. While recent token-based approaches achieve competitive performance to diffusion-based models, their generation performance is still suboptimal as they sample multiple tokens simultaneously without considering the dependence among them. We empirically investigate this problem and propose a learnable sampling model, Text-Conditioned Token Selection (TCTS), to select optimal tokens via localized supervision with text information. TCTS improves not only the image quality but also the semantic alignment of the generated images with the given texts. To further improve the image quality, we introduce a cohesive sampling strategy, Frequency Adaptive Sampling (FAS), to each group of tokens divided according to the self-attention maps. We validate the efficacy of TCTS combined with FAS with various generative tasks, demonstrating that it significantly outperforms the baselines in image-text alignment and image quality. Our text-conditioned sampling framework further reduces the original inference time by more than 50% without modifying the original generative model.
이 논문에서는 마스크 생성 모델에서 문장 정보와 일치하는 이미지 생성을 위한 토큰 추출 방법을 다루었다. 이미지 생성 모델 자체는 유지한 채로 학습 가능한 부 모듈과 문장 정보를 활용하여 생성된 이미지가 문장 정보와 일치하도록 하는 토큰을 추출하였다. 또한, 다수의 단계를 통해 확산하는 모델의 경우 발생하는 과단순화 현상을 해결하기 위해 주파수 정보를 기반으로 토큰 추출 방법을 다르게 가져가는 방안을 제시하였다. 제안한 토큰 추출 기법을 통해 생성된 이미지들이 기존의 방법들보다 사실적이고 문장 정보를 잘 반영한다는 것을 해석적인 방법과 계산적인 방법으로 보였다.
