Deep ensemble is a simple yet powerful way to improve the performance of deep neural networks. Under this motivation, recent works on mode connectivity have shown that parameters of ensembles are connected by low-loss subspaces, and one can efficiently collect ensemble parameters in those subspaces. While this provides a way to efficiently train ensembles, for inference, one should still execute multiple forward passes using all the ensemble parameters, which often becomes a serious bottleneck for real-world deployment. In this work, we propose a novel framework to reduce such costs. Given a low-loss subspace connecting two modes of a neural network, we build an additional neural network predicting outputs of the original neural network evaluated at a certain point in the low-loss subspace. The additional neural network, what we call a “bridge”, is a lightweight network taking minimal features from the original network, and predicting outputs for the low-loss subspace without forward passes through the original network. We empirically demonstrate that we can indeed train such bridge networks and significantly reduce inference costs with the help of the bridge networks.
심층 앙상블은 심층 신경망의 성능을 향상시키는 간단하지만 강력한 방법이다. 이러한 이유로, 모드 연결성에 대한 최근 연구들에서는 앙상블의 파라미터들이 저손실을 유지하는 부분공간으로 연결되어 있고, 이 부분공간에서 효율적으로 앙상블 파라미터들을 구할 수 있다는 것을 보였다. 이를 통해 효율적으로 앙상블 모델을 학습할 방법을 제시하였지만, 추론을 위해서는 여전히 모든 앙상블 파라미터들을 사용하여 여러 번의 계산을 해야 하고, 실제 배포 환경에서 심각한 병목이 되기도 한다. 본 연구에서는 추론 과정에서의 비용을 줄이기 위한 새로운 방법을 제안한다. 신경망의 두 모드를 잇는 저손실 부분공간이 주어 졌을 때, 추가적인 신경망으로 저손실 부분공간에 존재하는 파라미터에 의한 결괏값을 예측한다. 이 추가적인 신경망은 원본 신경망의 특징들을 이용하는 경량 신경망으로, 고비용의 원본 신경망 계산 없이 저비용으로 저손실 부분공간상의 결과를 예측한다. 이를 통해 추론 과정에서도 효율적인 앙상블 모델을 구성한다.
