Neural MIDI-to-audio synthesis is a task where given note melody of a specific instrument, realistic audio containing appropriate musical expressions is synthesized. Acoustic guitar possesses various performing techniques, which leads to a rich amount of musical expressions. In this work, we propose an end-to-end neural synthesizer based on diffusion-based generative model that could close the gap between MIDI and realistic guitar sound. We take advantage of the solid conditional nature of MIDI-to-audio synthesis task and propose an effective autoregressive continuation algorithm based on inpainting methods that have emerged in diffusion models. Furthermore, due to the lack of MIDI and audio pair datasets on acoustic guitar, we propose a large dataset where audio is synthesized based on virtual musical instruments and pre-train the model on this dataset in the context of transfer learning.
신경망 미디 오디오 합성이라함은 특정 악기의 미디 노트 멜로디가 주어졌을 때, 적합한 음악적 표현력이 가미된 현실감 있는 오디오를 생성하는 것이 목적이다. 다양한 악기들 중 어쿠스틱 기타의 경우 많은 연주 기법이 존재하여 음악적 표현력이 다양한 악기에 속한다. 이 논문에서는 디퓨전을 기반으로 한 종단간 신경망 합성 모델을 제시하여 더욱 현실성 있는 어쿠스틱 기타 오디오를 생성해내었다. 미디 오디오 합성은 강한 조건을 바탕으로 생성을 해내는 과제이기에, 이 점을 바탕으로 최근 디퓨전 모델에서 활용되는 인페인팅 기법을 적용한 자동 회귀 알고리즘을 제안하여 모델의 복잡도를 개선하고 성능을 향상하였다. 또한, 어쿠스틱 기타의 경우 학습에 적합한 미디 오디오 짝 데이터 셋의 양이 적기 때문에, 가상 악기를 사용하여 거대 미디 오디오 짝 데이터 셋을 만들었고, 이 데이터셋을 활용한 전이학습을 통해 모델의 성능을 높였다.
