The emergence of various audio data types, especially on the internet, is increasingly requiring more robust and easier information retrieval methods suitable for the specific properties of the target audio data. An effective and natural way of querying a musical audio database is by humming the tune of the wanted music. But the music query by humming is a challenging problem since the humming signal inevitably contains much more variation and inaccuracy in its pitch, duration, and energy than normal speech signal.
In this paper, we suggest two systems for querying a wanted song from music database by humming its melody. Systems proposed in this paper are named as the normalized note length selection system and the approximated string matching system according to their characteristics.These systems for querying an audio database by humming are described along with a scheme for representing the melodic information of a song as relative pitch changes. And in order to accept or to adapt the people's inaccurate humming, a new melody representation technique is also proposed.
Our systems is basically a pitch information-based one and perform fairly well. Our performance evaluation produced 83.5% and 81% of correct query rate of the song with the normalized note length selection and the approximated string matching system, respectively, for the top 3 matches when tested with 20 songs.
인터넷을 통한 다양한 오디오 데이터 타입의 출현은 그 오디오 데이터의 특징에 적합하면서 강인하고 쉽게 검색할 수 있는 방법을 요구하고 있다. 그 중에서, 음악 데이터를 효과적으로 검색하는 한가지 방법은 검색하기를 원하는 음악을 허밍으로 부르는 것이다. 그러나 허밍에 의한 음악 검색 방법은 허밍 신호가 피치, 길이, 에너지 측면에서 많은 변화와 부정확성을 포함하기 때문에 계속 도전해야 할 연구 분야이다.
본 논문에서는 허밍에 의해서 음악 데이터베이스로부터 원하는 노래를 검색하기 위한 두 가지 시스템을 제안한다. 그 시스템들은 각각의 특징에 따라 음길이 정규화 시스템과 대략적 문자열 매칭 시스템으로 명명한다. 그것은 상대적인 피치 변화에 따라 노래의 멜로디 정보를 표현하는 구성을 가지고 원하는 노래를 검색할 수 있으며, 또한 그것의 특징에 적합하도록 새로운 기술들이 제안되었다.
음길이 정규화 시스템에서, 테스트 벡터열은 음높이 정보를 추출하여 400 포인트로 선형적 사상을 시켰으며, 기준 벡터열은 데이터베이스에 미리 저장된 음높이 정보를 음길이 정보로 400 포인트 정규화 한 후에 두 벡터열을 비교하여 선곡한다.
대략적 문자열 매칭 시스템은 노래의 에너지 정규화 분포를 구하여 문턱 값에 따라 각각의 음표를 추출하고 DTW를 이용하여 선곡하는 시스템이다.
이 시스템들은 기본적으로 피치를 기반으로 한 시스템이며, 잘 동작한다. 시스템의 성능은 음길이 정규화 시스템과 대략적 문자열 매칭 시스템에서 각각 83.5% 와 81% 의 결과를 보인다. 이 결과는 20곡의 노래를 테스트했을 때 3위까지 평가한 결과이다.
본 논문에서 제안한 선곡 시스템은 디지털 도서관 또는 박물관, 인터넷 음악 검색과 같은 다양한 응용분야에서 사용될 수 있다. 또한 노래방 기계, 음악 교육 소프트웨어, 장난감에서 응용할 수 있다.
