Recent text-guided mesh deformation methods typically optimize spatial Jacobian fields to leverage 2D diffusion priors. However, this paradigm faces inherent limitations: the lack of explicit 3D geometric priors often compromises global shape consistency, and the high degrees of freedom in per-face representations amplify the high-frequency noise of Score Distillation Sampling (SDS), causing severe surface artifacts.
To address these challenges, we propose SpectralDeformer, a framework that shifts optimization to the spectral manifold domain. We introduce Residual Spectral Parameterization, formulating deformation via Manifold Harmonics to incorporate intrinsic geometric priors and achieve a compact, resolution-independent representation. Furthermore, we propose Source-Aware Spectral Coefficient Weighting to normalize the optimization landscape, resolving spectral scale discrepancies. Crucially, we demonstrate that projecting noisy gradients onto a truncated spectral basis performs Implicit Spectral Filtering, naturally eliminating high-frequency artifacts. Experimental results confirm that our method generates high-quality 3D shapes with superior global consistency and smoothness compared to spatial domain approaches.
최근 텍스트 기반 메쉬 변형 기술은 2차원 확산 모델을 활용하기 위해 주로 공간 도메인에서 자코비안 필드를 최적화해 왔다. 그러나 이 방식은 명시적인 3차원 기하학 사전 지식의 부재로 인해 전역적 형태 일관성을 유지하기 어렵고, 높은 자유도가 스코어 증류 샘플링의 고주파 노이즈를 그대로 수용하여 표면 아티팩트를 유발하는 한계가 있다.
본 논문에서는 이를 해결하기 위해 스펙트럼 도메인 최적화 프레임워크인 스펙트럴디포머를 제안한다. 우선, 잔차 스펙트럼 파라미터화를 통해 변형을 소스 메쉬의 고유 기저들의 선형 결합으로 표현함으로써 내재적 기하학 정보를 통합하고 메쉬 해상도와 무관한 저차원 파라미터로 효율적인 변형을 수행한다. 또한, 소스 메쉬의 스펙트럼 분포를 전처리기로 활용하는 계수 가중 기법을 통해 최적화의 수치적 불안정성을 해소하였다. 특히, 노이즈 섞인 그라디언트가 저주파 기저로 투영되며 고주파 아티팩트가 제거되는 암시적 필터링 효과를 입증하였다. 실험 결과, 제안하는 방법은 기존 기법 대비 탁월한 전역적 3차원 일관성을 유지하며 기하학적으로 매끄러운 고품질 형상을 생성함을 확인하였다.