The word 'music' contains a meaning that we enjoy sounds. To obtain not only simple auditory impressions but also enjoyment from music, we must have previous experiences of musical activities. Attempts to bind interactions between users and systems using virtual realities support various new musical activities to provide many aids with which public can meet further interests in music. Efforts to develop the virtual orchestra and revive conducting gestures with computers are studies which are able to maximize these possibilities. Already various preceding researches of computer-based motion recognition have been studied to apply to improvisations, computational compositions and conducting that intend real-time controls of several musical aspects such as tempo, volume, tune and so on.
In this thesis, as the continuation of these researches and the middle step of the virtual orchestra, we suggest the conducting motion recognizing system using acceleration sensors which controls a tempo of a playback music. We analyzed real conducting gestures, made a baton using acceleration sensors that send voltage signals as accelerations change when user tries to indicate each beat, and controlled a tempo of preparing scores. The AID conversion module which indudes a DSP converts voltage inputs into discrete digital signals and transfers them to the computer through a serial RS232 port. Using the Max/MSP program, the computer measures time intervals between recent two signals, estimates a current tempo, and plays a MIDI score in corresponding speed. We added the CCD camera and color-tracking to control a volume as former researches presented.
The result of this thesis improves the perception of conducting motion and minimizes latency and computation. And it can be used in many contents as an interface.
음악은 ‘소리를 즐긴다’라는 뜻을 담고 있다. 감상자에게 단순한 청각적 자극을 넘어 즐거움을 주기 위해선 음악적인 경험이 뒷받침되어야 한다. 가상 현실을 이용한 사용자와 시스템 간의 상호작용을 음악 경험 제공에 접목하려는 시도는, 새로운 경험을 통해 일반인들이 보다 쉽게 음악을 접하고 체험함으로써 음악을 통해 즐거움을 얻을 수 있도록 도움을 주는 데에 그 목적이 있다. 가상 오케스트라를 구현하고 지휘 동작을 재현하는 것은 이러한 가능성을 극대화하는 연구이다.
본 논문에서는 가상 오케스트라를 구현하기 위해 필수적인 중간 단계로, 사용자의 지휘 동작을 감지하여 연주의 박자(속도)를 제어하는 지휘 시뮬레이션 시스템을 제시한다. 실제의 지휘 동작을 분석하고, 동작의 변화를 인식하기 위하여 가속도 센서를 이용, 공간상에서 지휘봉의 움직임을 가속도 정보로 수집하여 이에 상응하는 박자의 제어를 구현한다. 사용자의 박자 명시에 따라 변화하는 상하 방향의 가속도를 센서를 통해 전압 신호로 입력 받고, DSP의 A/D conversion 모듈에서 디지털 신호로 변환, 일정 수준 이상의 신호를 박자 정보로 직렬통신을 통해 컴퓨터에 전달한다. 컴퓨터에서는 Max/MSP를 이용하여 각 박자 사이의 시간 간격을 측정하고 상응하는 MIDI음악을 재생하는 방식으로 시스템이 구현된다. 기존 연구에서 사용된 CCD카메라에 의한 Motion Tracking을 보완하여 동작의 크기에 따라 음량을 조절한다. 본 논문에서 제시되는 시스템은 지휘 동작에서 가장 특징적으로 나타나는 상하 방향의 급격한 가속도 변화를 직접 입력 받기 때문에 기존 시스템에 비해 지휘 동작의 인식 성공률을 높일 수 있으며, 화상 처리 및 계산에 의한 지연을 최소화할 수 있다. 또한, 장치의 규모를 소형화하여 보다 지휘봉의 형태에 가까운 인터페이스를 제공하며, 적합한 응용 콘텐츠를 접목할 경우 게임 컨트롤러로의 발전 가능성이 있다.
