Systematic compositionality, or the ability to adapt to novel situations by creating a mental model of the world using reusable pieces of knowledge, remains a significant challenge in machine learning. While there has been considerable progress in the language domain, efforts towards systematic visual imagination, or envisioning the dynamical implications of a visual observation, are in their infancy. We introduce the Systematic Visual Imagination Benchmark (SVIB), the first benchmark designed to address this problem head-on. SVIB offers a novel framework for a minimal world modeling problem, where models are evaluated based on their ability to generate one-step image-to-image transformations under a latent world dynamics. The framework provides benefits such as the possibility to jointly optimize for systematic perception and imagination, a range of difficulty levels, and the ability to control the fraction of possible factor combinations used during training. We provide a comprehensive evaluation of various baseline models on SVIB, offering insight into the current state-of-the-art in systematic visual imagination.
체계적 구성성, 즉 재사용 가능한 지식을 활용하여 주위 환경에 대한 모델링을 수행하고 이를 통해 새로운 상황에 적응하는 능력은 기계 학습에서 중요한 도전 과제이다. 언어 분야에서는 해당 문제에 대한 연구가 활발히 이루어져 왔고 그에 따른 상당한 진전이 있었으나, 시각정보를 기반으로 하는 체계적 미래 예측은 여전히 초기 단계에 있다. 따라서, 우리는 이러한 문제를 해결하기 위해 시각정보의 체계적 일반화 벤치마크를 설계하여 제안한다. 시각정보의 체계적 일반화 벤치마크는 월드 모델링 문제를 위한 새로운 프레임워크를 제공하며, 모델들은 설계된 몇 가지의 규칙 아래에서 원스텝으로 이미지를 생성하는 능력을 평가받는다. 본 연구에서 제안하는 프레임워크는 모델의 체계적 지각 능력과 상상 능력을 일괄적으로 테스트하는 것이 가능하며, 훈련 단계에서 사용되는 시각정보의 비율을 제어할 수 있다는 이점을 제공한다. 마지막으로, 해당 프레임워크 아래에서 다양한 베이스라인 모델에 대한 포괄적인 평가를 수행하여 최신 모델의 체계적 일반화 능력에 대한 이해를 돕고자 한다.
