In ensemble performance, visual information is not only crucial for audience evaluation of music but also essential for synchronization among performers. Especially in sections like the start of a piece or a fermata with sudden tempo changes, synchronization relies on musical cues such as a gesture and a breathing sound. However, a challenge arises in ensembles with computer-controlled pianos and human performers due to the absence of the pianist, making traditional musical cues inapplicable. This paper proposes a system that captures the performer's gesture cue in real-time through video, triggering the reactive piano accompaniment.
This study is divided into two main parts. (1) First, a dataset including video, audio, and MIDI of flute and piano duets was collected to analyze the gesture cue of flutists. (2) Second, after analyzing the relationship between the flutist's gesture cue and onset timing, a system was developed that detects the gesture cue in real time and initiates the piano accompaniment at the optimized timing. User evaluation of this system was also conducted.
Through this approach, the paper overcomes a limitation of previous audio-based interactive accompaniment systems by applying the gesture cue to the start of pieces and fermata passages, enabling optimized reactive accompaniment.
앙상블 연주에서 시각적 정보는 청중이 음악을 평가하는데 중요할 뿐만 아니라, 연주자 간의 동기화를 하는데도 필수적이다. 특히 곡의 시작이나 템포가 급격히 변하는 페르마타 같은 구간에서는 음악적 큐라고 불리는 제스처와 호흡 소리에 의존하여 동기화를 한다. 그러나 자동연주 피아노와 사람 간의 앙상블에서는 피아니스트의 부재 때문에 기존의 음악적 큐 방식을 적용할 수 없다는 문제점이 발생된다. 이를 해결하기 위해 본 논문에서는 연주자의 비디오 촬영을 통해 실시간으로 연주자의 제스처 큐를 검출하고, 이에 반응해서 자동 피아노 반주가 시작되는 시스템을 제안한다.
본 연구는 크게 2가지 파트로 구성된다. (1) 첫번째로 플루티스트의 음악적 큐를 분석하기 위해 플루트 피아노 듀엣의 비디오, 오디오, 미디가 포함된 데이터셋을 수집했다. (2) 두번째로 플룻 연주자의 제스처 큐와 온셋 타이밍과의 관계를 분석을 한 후, 분석 결과를 기반으로 실시간으로 플루트 연주자의 제스처 큐를 검출하고 최적화된 타이밍에 피아노 반주가 시작되는 시스템을 개발하였고, 이 시스템에 대한 사용자 평가를 진행하였다.
이를 통해 본 논문에서는 기존 오디오 기반 인터렉티브 반주 시스템이 가지고 있던 한계였던 곡 시작과 페르마타 구간에도 제스처 큐를 적용하여 최적화된 반응형 반주가 가능하도록 하였다.
