The success of self-supervised learning in the domain of speech has led to the development of large-scale self-supervised models. However, using these kinds of large-scale models in practice can be costly, potentially limiting the use of these models especially in resource-constrained settings. In this regard, we propose a model compression method FitHuBERT, which uses a thinner and deeper architecture across almost all of its model components compared to prior work. Additionally, we propose knowledge distillation with hints to improve performance, and the use of time-reduction layers to increase efficiency. Evaluation results on the SUPERB benchmark show that our model outperforms previous work especially on content related tasks, while having fewer parameters and faster inference time.
음성 분야에서 자가지도학습의 성공은 대규모 자가지도학습 모델들의 발전으로 이어졌다. 그러나 실제로 이러한 종류의 모델들을 사용하는 것은 비용이 많이 들 수 있으며, 특히 컴퓨팅 자원이 제한되어 있는 환경에서 모델의 사용을 제한할 가능성이 있다. 이에 대하여, 이전 연구에 비해 모델의 거의 모든 구성 요소에 걸쳐 더 얇고 더 깊은 구조를 사용하는 모델 압축 방법인 FitHuBERT를 제안한다. 추가적으로, 성능 향상을 위해 힌트를 사용하는 지식 증류와 효율성 향상을 위해 시간 단축 레이어의 사용을 제안한다. SUPERB 벤치마크에 대한 평가 결과는 제안된 모델이 이전 연구보다 매개 변수의 숫자가 적고 추론 시간이 빠른 반면에 특히 언어적 테스크에서 성능이 우수하다는 것을 보여준다.
