This thesis introduces an interactive mobile music performance system using the digital compass of mobile phones. Compass-based interface can detect the aiming orientation of performers on stage, allowing us to obtain information on interactions between performers and use it for both musical mappings and visualizations on screen for the audience. In addition to aiming direction, an algorithm for a new app to track down the performer’s position in real time is presented. By tracing the positions of moving performers with compass, a variety of real-time musical mapping strategies with the information on performers’ positions can be designed. Various types of mapping strategies using virtual instrument and sound synthesis engine are adapted to each interaction method. After describing each performance and interaction concept, the result of a compass-based mobile music performance series, Where Are You Standing? is documented and discussed.
본 논문에서는 스마트폰의 나침반 센서를 활용한 인터렉티브 모바일 음악 공연 시스템을 제안한다. 나침반 기반 인터페이스는 무대 위 연주자들이 각자의 스마트폰으로 가리키는 방향을 감지한다. 서로를 가리키는 행위들로 인해 연주자들 사이의 인터렉션이 가능하게 되고 이러한 정보를 음악적으로 매핑하고, 시각화 함으로써 관객들이 음악이 생성되는 과정을 경험할 수 있다. 단순히 방향을 가리키는 방식 이외에도, 나침반 센서를 활용해 무대 위 연주자의 위치를 실시간으로 계산하여 추적할 수 있는 알고리즘과 이를 위해 새로이 개발한 모바일 앱 HaM을 소개한다. 연주자의 실시간 위치 변화 정보는 방향을 가리키는 동작과의 조합으로 다양한 음악적 변화에 쓰일 수 있다. 연주자가 나침반으로 지시하는 방향정보와 각 연주자의 위치정보들을 활용하여 가상악기와 소리합성 엔진을 통한 다양한 음악적 표현을 시도할 수 있고, 이를 통해 연주자들은 나침반을 활용해 음악의 다양한 요소 즉, 음고, 리듬, 음량, 음색 등을 제어할 수 있다. 마지막으로, 본 시스템을 활용한 실제 모바일 공연 작품인 “Where Are You Standing?”에 대해 언급하며 여러 차례의 공연에서 얻은 경험을 바탕으로 나침반을 활용한 스마트폰 공연에서의 주의할 점, 그리고 현재 시스템의 한계와 나아갈 점에 대해 토의한다.
