This paper considers a generative model for retrieving music in a corpus that is similar to a given query based on melodic similarity. The model assumes that the melodic contour and contextual variable(pitch range) of the query are generated from those of other music in the corpus. From the model, the contribution of each music in generating the query is considered for retrieval. The music generative model is tested on two systems: similar music searching system, melody recognition system. The similar music searching system is evaluated using the MIREX 2005 symbolic melodic similarity test collections. The melody recognition system is evaluated using the PASCAL collections. The test results show that the systems based on the proposed music generative model are better than previous systems.
본 학위 논문에서는 입력 음악이 들어왔을 때 데이터베이스에 있는 음악들과 비교하여 인지적 유사 음악 내어주는 유사 음악 검색 시스템을 위한 모델을 제안한다. 음악에는 크게 가락, 박자, 화음이 존재하지만 본 모델에서는 이 중에 가장 분별력과 표현력을 가지는 가락에 초점을 맞춰서 유사 가락음악을 검색하게 된다. 여기서 제안하는 모델은 확률기반 생성 모델을 적용한 음악 생성 모델(music generative model)이다. 이 모델은 입력 음악이 데이터베이스의 여러 노래로부터 생성 가능하다고 가정하는 모델이다. 이러한 가정하에서 데이터베이스 내 각 음악들이 음악 생성시에 얼마나 기여도를 가지는 정도를 나타내는 음악 비율(music proportion)에 따라서 음악이 생성되게 된다. 생성시 많은 비율을 차지할수록 그 음악이 생성된 음악 즉, 입력 음악과 유사하다고 간주할 수 있다. 이러한 음악 비율이 높은 순으로 유사 음악을 내어주게 된다.
여기서 사용되는 피처(feature)는 멜로디 컨투어(melodic contour)와 음의 범위(pitch range)이다. 이 두 피처 모두 음악 유사도를 결정하기 위해 중요한 정보를 지닌 피처이다. 먼저 멜로디 컨투어 정보를 활용하기 위해서는 사람의 인지적 유사도에 영향의 거의 못 미치는 조옮김과 박자에 따라 정보가 변하지 않아야 한다. 이를 만족하기 위해 N개의 음표를 끊어서 이를 정규화(normalize)한 후 uniform B-spline 방식으로 근사하게 되면 다항식 형태로 나타낼 수 있다. 이러한 다항식의 특정 점의 미분 값을 백터 형식으로 저장한 값을 멜로디 컨투어 정보로 간주하게 된다. 음의 범위(pitch range)는 음악 전체에서 가장 높은 음과 가장 낮을 음의 차이를 의미하게 된다.
음악생성모델에서는 이러한 컨투어와 음악을 효과적으로 나타내기 위해 전형적인 멜로디 컨투어인 코디드 컨투어(coded contour)라는 것을 도입하였다. 이는 음의 조합은 수도 없이 많지만 음악은 사람이 듣기 좋은 음의 조합이어야 하므로 이러한 한정된 숫자의 음의 조합을 의미하는 것이 코디드 컨투어(coded contour)이다. 이는 수많은 음악들로부터 대표할 수 있는 멜로디를 찾을 수 있다면, 이러한 대표되는 멜로디를 통해 음악에서 실제적으로 사용되는 멜로디를 이들의 혼합형태로 나타낼 수 있다는 가정을 기반한다. 이러한 코디드 컨투어를 구하기 위하여 데이터베이스의 음악들로부터 각기 멜로디 컨투어를 얻고 이를 혼합 가우시안 모델 클러스터링(Gaussian mixture model clustering)을 한 결과를 코디드 컨투어라고 정의하였다. 즉, 이들 각각은 가우시안들로 나타나게 된다. 이들의 혼합 통해서 컨투어와 음악들을 나타내게 되는데, 결과적으로 멜로디 컨투어와 음악은 코디드 컨투어의 혼합 형태로 나타내어진다.
가락은 조합에 따라 다른 음악에서 수없이 많이 쓰인 흔한 가락도 있고, 다른 음악에서 거의 쓰이지 않는 희귀한 가락도 있다. 이러한 희귀한 정도에 따라 다른 음악과 유사할 확률이 차이가 클 것이다. 예를 들자면, 한 가락이 다른 음악에서도 자주 쓰이는 흔한 가락이라고 하면 이 음악은 다른 음악과 같은 확률일 높을 것이다. 이와 같이, 유사도를 계산하기 전에 트레이닝(training) 데이터를 이용하여 이러한 사전 확률(prior)를 구해 놓음으로써 정확한 유사도 계산이 가능케 끔 한다.
위의 정보에 기반하여 데이터베이스의 각각의 음악들로부터 입력 음악을 생성하는 기여도인 음악 비율(music proportion)을 구할 수 있다. 이것은 모델의 사후 확률(posterior)을 음악 비율을 변수로 갖는 식으로 나타내고 이런 사후 확률을 최대화 시키는 음악비율을 구함으로써 원하는 음악비율을 결정할 수 있다. 이는 기울기 상승 방식(Gradient ascent method)를 이용하여 음악 비율을 업데이트하면서 사후 확률을 최대화하는 음악 비율을 찾게 된다. 이와 같이 음악비율을 구하고 나면 비율이 높은 음악을 유사음악이라 간주하는 모델이다.
이 모델은 2가지 시스템으로 구현되었다. 하나는 유사음악 검색 시스템이고, 다른 하나는 멜로디 인식 시스템이다. 유사음악 검색 시스템은 입력 음악에 들어왔을 때, 그 음악과 유사한 데이터베이스의 음악을 유사한 순서대로 내어주는 시스템이다. 이 시스템은 MIREX 2005 symbolic melodic similarity task collection으로 성능 평가하였다. 멜로디 인식 시스템은 입력으로 다양하게 변주된 노래나 노이즈가 심한 노래가 들어왔을 때 원곡을 찾아주는 시스템이다. 이 시스템은 PASCAL collection으로 성능 평가 되었다. 이러한 실험들을 통해서 제안한 모델이 포함된 시스템은 기존의 다른 시스템들 보다 우수한 성능을 보여주었다. 이 두 가지 시스템에서 우수한 성능을 보여줬다는 의미는 제안한 모델이 단순히 우수한 유사도 계산뿐 만 아니라 노이즈, 키, 박자 변화 등에도 영향 받지 않고 유사도를 계산하는 모델임을 보여준다.
