The number of music recordings that users can access is increasing, as composition and distribution of music becomes convenient through digitalization. In addition, user-generated music contents are distributed, and the functional use of music to amplify the mood or atmosphere of places (e.g. cafe, restaurant) or media content (e.g. video) is also increasing. Therefore, the act of searching for music contents is becoming very important. Most of the existing music search systems are mainly based on a catalogue-based search or a metadata-based search. Metadata-based search is to search for the exact matching song if you already know the song information such as song name or artist name, and catalogue-based search is to search for songs within categories such as genre, or mood, making detailed search difficult. If there is a way to find similar sounds-like songs to a query song, we will be able to browse and search many music recordings. Traditionally, the related technology is a recommendation algorithm based on the user's listening history. But basically, this recommendation algorithm cannot recommend songs that the user has not already consumed, and the recommendation is a passive act, and its use for active music search is limited. Therefore, the goal of this thesis is to explore content-based music search system that directly analyzes audio and searches through it.
In this dissertation, I explore the content-based music search methodology in three main aspects: a module for analyzing audio, a similarity-based deep learning method using various similarity concepts, and a methodology that opens up the possibility of new music search applications. To do that, the background methodology is explained in Chapter 2, an effective audio model is explored in Chapter 3, learning methods using various music similarity concepts are explored in Chapter 4, and a unified framework for similarity-based learning system that enables new music search application is explored in Chapter 5. More concretely, in chapter 3, I propose a more effective audio model that can directly perform on waveform instead of using spectrogram-based features. In chapter 4, I propose a similarity-based learning method that utilizes various music metadata with different levels of similarity concept. In chapter 5, I propose two new music search applications which are query-by-attribute and query-by-prototype by adding several techniques to the similarity-based deep learning methods. Through the exploration of this thesis, I hope we will be able to develop a better content-based music search system.
디지털화와 함께 음악의 작편곡 및 유통이 편리해짐으로써, 이용자들이 접근할 수 있는 음악 레코딩의 수가 증대되고 있다. 또한, 유저가 직접 제작하는 음악 컨텐츠들이 유통되기도 하며, 카페, 레스토랑, 영상컨텐츠의 무드나 분위기를 증폭시키기 위환 기능적 음악의 활용 또한 증대되고 있다. 이에, 원하는 음악을 찾는 행위는 매우 중요해지고 있다. 기존의 음악 검색은 대부분 곡의 제목 또는 아티스트 이름을 통한 검색 혹은 장르 등을 통한 카탈로그 기반 검색 방법이 주를 이룬다. 앞의 검색 방법은 이미 곡 정보를 알고 있는 경우에 정확한 그 곡을 검색하는 행위이고, 카탈로그 기반 검색은 세세한 검색이 힘들다는 단점이 있다. 특정 곡을 정하고 이와 비슷한 소리를 가지는 유사한 곡들을 검색하는 방법이 있다면 우리는 많은 음악 레코딩을 브라우징하며 검색할 수 있을 것이다. 전통적으로 사용자들의 음악 청취 이력을 기반으로 하는 추천 알고리즘이 연관된 기술이다. 하지만, 이러한 추천 알고리즘은 기본적으로 사용자가 이미 소비한 음원 컨텐츠에 대하여 추천이 가능하며, 추천 시스템은 수동적인 행위로서, 음원의 능동적 검색에는 그 사용예가 한정적이다. 이에, 오디오를 직접 분석하고 이를 통해 검색을 수행하는 컨텐츠 기반 음악 검색 시스템을 탐색하는 것이 본 학위의 목표이다.
본 학위논문에서는 크게 세 가지 측면에서 컨텐츠 기반 음악 검색 방법론을 탐구한다. 컨텐츠 기반 음악 검색 시스템에는 크게 오디오를 분석하는 모듈, 다양한 유사도의 유사도 기반 딥러닝 모델의 학습 방법, 그리고 다양한 어플리케이션을 위한 학습 및 활용 방법이 있다. 이에 본 학위논문에서는 Chapter 2에서 배경 방법론을 설명하고, Chapter 3에서 효과적인 오디오 모델에 대한 탐구, Chapter 4에서 다양한 음악 유사도 정의의 활용 방법, 그리고 Chapter 5에서 더 많은 어플리케이션을 위한 학습 방법론 및 활용 방법을 탐구한다. 구체적으로, Chapter 3에서는 기존의 스펙트로그램 기반 방법론을 파형 기반 방법론으로 수행함으로써 더욱 효과적이고 효율적인 오디오모델을 제안하였다. Chapter 4에서는 다른 유사도 수준을 가지는 다양한 음악 메타데이터 정보를 이용한 음악 유사도 모델의 학습방법을 제안하며, 이를 통해 다른 유사도 정의로 학습된 모델에 따른 모델의 학습 특성을 볼 수 있다. Chapter 5에서는 구성요소별 검색을 가능하게 하는 방법론 및 프로토타입을 이용한 검색 활용 방법을 탐험하여, 더 많은 컨텐트 기반 음악 검색 어플리케이션을 가능하게 하였다. 이러한, 본 학위 과정의 탐구를 통하여 우리는 더 나은 컨텐트 기반 음악 검색 시스템을 개발할 수 있게 된다.
