Learning interpretable and disentangled representations of data is a key topic in machine learning research. Variational Autoencoder (VAE) is a scalable method for learning directed latent variable models of complex data. It employs a clear and interpretable objective that can be easily optimized. However, this objective does not provide an explicit measure for the quality of latent variable representations which may result in their poor quality. We propose Variational Mutual Information Maximization Framework for VAE to address this issue. In comparison to other methods, it provides an explicit objective that maximizes lower bound on mutual information between latent codes and observations. The objective acts as a regularizer that forces VAE to not ignore the latent variable and allows one to select particular components of it to be most informative with respect to the observations. On top of that, the proposed framework provides a way to evaluate mutual information between latent codes and observations for a fixed VAE model. We have conducted our experiments on VAE models with Gaussian and joint Gaussian and discrete latent variables. Our results illustrate that the proposed approach strengthens relationships between latent codes and observations and improves learned representations.
해석 가능하고 명확한 데이터 표현을 학습하는 것은 기계 학습 연구의 핵심 주제다. Variational Autoencoder(VAE)는 복잡한 데이터의 잠재 변수 모델을 학습할 수 있는 확장 가능한 모델이다. 이는 쉽게 최적화 할 수 있는 명확한 목적 함수를 사용한다. 하지만 이 목적 함수는 학습하는 표현의 품질을 명시적으로 측정하지 않으며, 이는 그 품질을 저하시킬 수 있다. 이 문제를 해결하기 위해 VAE에 대한 가변적 잠재 정보 최대화 프레임워크를 제안한다. 다른 방법들과 달리, 이 방법은 잠재 변수와 관측치 사이의 상호 정보에 대한 하한을 최대화하는 명시적 목적 함수를 제공한다. 이 목적 함수는 VAE가 잠재 변수를 무시하지 않도록 강제하는 정규 표현식의 역할을 하며, 관측치 관점에서 가장 유용한 정보를 주는 부분을 선택하도록 한다. 또한 제안된 프레임 워크는 고정 VAE 모델에 대한 잠재 코드와 관측치 간의 상호 정보를 평가할 수 있는 방법을 제공한다. 우리는 가우시안 및 결합 가우시안 및 이산 잠재 변수를 사용하여 VAE에 대한 실험을 수행했다. 이 결과는 제안된 접근법이 latent codes와 관측치 사이의 관계를 강화하고 학습된 표현을 향상시켜준다는 것을 보여준다.
