This paper explores Bayesian pseudocoreset construction, a method for compressing datasets to enable practical Bayesian learning. Bayesian pseudocoresets refer to very small synthetic datasets that mimic the posterior distribution of a model trained on the entire dataset. They can be efficiently applied in Bayesian methodologies where time complexity increases with dataset size. This paper proposes a scalable Bayesian pseudocoreset synthesis algorithm for image data. Firstly, to scale efficiently, we approximate the posterior distribution of both the full dataset and Bayesian pseudocoreset and discuss various divergence measures between these distributions. Additionally, we introduce a novel Bayesian pseudocoreset construction algorithm using the forward KL divergence, more suitable for Bayesian model averaging. Secondly, for scaling with much larger modern deep neural networks, we propose the function space Bayesian pseudocoreset. It models the posterior distribution in the function space rather than the parameter space to accommodate the increased model size. Lastly, we assess the applicability of the synthesized Bayesian pseudocoreset in the contexts of transfer learning and continual learning.
본 논문에서는 실용적인 베이지안 학습을 위해 데이터셋을 압축하는 방법인 베이지안 유사코어셋 연구를 다룬다. 베이지안 유사코어셋이란 전체 데이터셋으로 학습된 모델의 사후 분포와 유사한 사후 분포를 가지는 매우 작은 사이즈의 합성 데이터셋을 말하며, 데이터셋 사이즈에 따라 시간 복잡도가 증가하는 대부분의 기존 베이지안 방법론의 효율적인 학습에 응용될 수 있다. 본 논문에서는 이미지 데이터를 위한 규모 확장 가능한 베이지안 유사코어셋 합성 알고리즘을 제안한다. 먼저, 효율적인 규모 확장을 위해 전체 데이터셋과 베이지안 유사코어셋의 사후 분포를 근사화하고 이러한 분포 간의 여러 가지 발산 측정에 대해 논의한다. 또한 베이지안 모형평균법에 더 적합한 정방향 KL 발산을 사용한 새로운 베이지안 유사코어셋 합성 알고리즘을 제시한다. 둘째로, 모델 크기가 훨씬 큰 최신 심층 신경망으로 규모 확장을 위해 파라미터 공간의 사후 분포가 아닌 함수 공간에서의 사후 분포를 모방하는 함수 공간의 베이지안 유사코어셋 합성 알고리즘을 제시한다. 마지막으로, 합성된 베이지안 유사코어셋의 활용 가능성을 전이 학습 및 지속적 학습 상황에서 평가한다.
