This thesis presents a new music visualization method using a flow graph that visualizes an overall progress of a classical music piece. It extracts a volume feature and an onset density feature of an input audio file on web browser by using web audio API. Volume feature is represented with the y-value of the graph, and the onset density feature is represented by alpha value of the graph area.
The effect of the visualization was examined by user experiments, which compared the effect of spectrum-based visualization and flow graph visualization on non-professional listeners. The results show that the flow visualization has several positive effects compared to spectrum-based visualization.
The visualization method will be further developed to include various other musical parameters like tonal key or chord information. The other applications like combining with existing music player or social network service are discussed.
본 학위논문은 클래식 음악에서 작품의 전체 흐름에 대한 정보를 감상자에게 제공하기 위한 방법으로 Flow Graph를 활용한 새로운 음악 시각화 방식을 제안한다. 이 시각화 방식은 웹 브라우저 상에서 오디오 파일을 입력 받아 시간에 따른 볼륨 정보와 음표 밀도 정보의 변화를 추출한다. 웹 페이지는 자동으로 x축에 시간, y축에 볼륨 정보를 나타내는 이차원 그래프를 생성하며 해당 그래프 영역의 알파 값은 각 부분의 음표 밀도에 따라 변화한다. 별도의 프로그램 설치 없이 기존의 웹 브라우저에서 오디오 파일을 활용해 자동으로 시각화를 만들 수 있으며 곡의 길이나 복잡도와 상관없이 작동하는 것이 장점이다.
또한 사용자 실험을 통해 이 시각화 방식이 음악 비전공자의 클래식 음악 감상에 미치는 영향을 확인하였다. 비교 대상으로는 가장 대표적인 음악 시각화 방식인 스펙트럼 기반 시각화를 선택하였다. 실험 결과, Flow Graph를 이용한 시각화 방식을 활용한 감상자들이 스펙트럼 기반 시각화, 혹은 시각화가 없는 환경의 감상자들에 비해 곡에 더 흥미를 느끼고 감상에 집중하며 곡의 내용을 더 잘 기억하는 것으로 나타났다.
후속 연구를 통해 화성이나 조성 정보를 추가하여 시각화를 통해 더욱 다양한 정보를 전달하는 것을 목표로 한다. 또한 웹 기반이라는 점을 활용하여 사용자들이 시각화 결과를 인터넷으로 공유하는 형태로도 발전할 수 있을 것이다.
