The pioneer deep neural networks (DNNs) have emerged to be deeper or wider for improving their accuracy in various applications of artificial intelligence. However, DNNs are often too heavy to deploy in practice, and it is often required to control their architectures dynamically given computing resource budget, i.e., anytime prediction. While most existing approaches have focused on training multiple shallow sub-networks jointly, we study training thin sub-networks instead. To this end, we first build many inclusive thin sub-networks (of the same depth) under a minor modification of existing multi- branch DNNs, and found that they can significantly outperform the state-of-art dense architecture for anytime prediction. This is remarkable due to their simplicity and effectiveness, but training many thin sub-networks jointly faces a new challenge on training complexity. To address the issue, we also propose a novel DNN architecture by forcing a certain sparsity pattern on multi-branch network parameters, making them train efficiently for the purpose of anytime prediction. In our experiments on the ImageNet dataset, its sub-networks have up to 43.3% smaller sizes (FLOPs) compared to those of the state-of-art anytime model with respect to the same accuracy. Finally, we also propose an alternative task under the proposed architecture using a hierarchical taxonomy, which brings a new angle for anytime prediction.
초기의 심층 신경망들은 인공 지능의 다양한 응용 분야에서 성능을 향상시키기 위해 더 깊거나 더 넓어 졌습니다. 그러나, 이러한 심층 신경망들은 많은 자원을 필요로 하기 때문에, 여러 기기에 배포하는 것이 어렵습니다. 또한, 기존의 신경망들은 고정된 양의 자원을 필요로 하기 때문에, 사용할 수 있는 자원의 양이 동적으로 변하는 경우에는 적합하지 않습니다. 이러한 문제를 해결하기 위해, 기존에는 여러 개의 얕은 하위 신경망을 동시에 학습하는데 중점을 두었지만, 이 논문에서는 다중 분기 심층신경망에서 분기를 제거하여 얇고 깊이가 동일한 여러 하위 신경망을 구축하는 방법을 사용하였습니다. 이 방법은 단순하지만 매우 효과 적으로, 시간가변적 예측을 위한 최첨단 심층신경망에 비해 훨씬 뛰어난 성능을 얻을 수 있었습니다. 그러나 많은얇은하위신경망을동시에학습하는데에는많은시간을필요로합니다. 이는다중분기심층신경 망에 특정 희소성 패턴을 강제함으로써 해결하였습니다. 큰 데이터셋 중 하나인 ImageNet 데이터셋에서, 비슷한 성능을 달성하기 위해 필요한 시간(FLOPs 기준)은 최첨단 신경망에 비해 43.3% 감소하였습니다. 마지막으로, 계층적 분류법을 이용하여, 새로운 시간 가변적 예측 방법론을 제시하였습니다.
