While music is becoming easily accessible due to the increasing number of online music services, it is
getting more difficult to find the songs that users like. Therefore, it is important to grasp information about a large number of released songs and build retrieval and recommendation systems based on the information. The most popular method is to use text-based meta data or user data. However, this
approach has a problem of rarely being searched for new or unknown songs, and it is difficult and time
consuming to construct the data. On the other hand, content-based methods that extract features from
music data directly and use the features to train the system become important because it can somewhat
solve these problems.
Recently, representation learning or feature learning has drawn great attention in various types
of machine learning tasks. In music domain, feature learning is either unsupervised or supervised by
semantic labels such as music genre. However, finding discriminative features in an unsupervised way
is challenging, and supervised feature learning using semantic labels may involve noisy or expensive
annotation.
In this thesis, we present a feature learning approach that utilizes artist labels attached in every
single music track as objective meta data. We train a deep convolutional neural network to classify
audio tracks into a large number of artists. We regard the trained model as a general feature extractor
and apply it to other tasks such as artist recognition, genre classification and music auto-tagging in
transfer learning settings. The results show that our approach outperforms or is comparable to previous
state-of-the-art methods, indicating that the proposed approach effectively captures general music audio
features. Finally, we utilize the proposed approach for a music retrieval system.
온라인 음악 서비스들이 활성화되면서 세상의 많은 음악을 쉽게 접할 수 있게 되었지만, 개인에게 맞는 음악
을 찾는 것은 더욱 어려워지고 있다. 이에 따라, 발매된 수많은 곡에 대한 정보를 파악하고, 그것을 바탕으로
검색 및 추천 시스템을 구축하는 것이 중요해 지고 있다. 가장 많이 사용되고 있는 방법은 텍스트 기반의
메타데이터나 사용자 데이터를 이용하는 방법이다. 하지만 이런 접근 방법은 새로 나온 곡이나 잘 알려지
지 않은 곡들에 대해서는 거의 탐색 되지 않는다는 문제가 있으며, 해당 데이터를 구축하기가 어렵고 많은
시간이 걸린다는 단점이 있다. 반면에, 음악 데이터로부터 특징을 추출하고 그 특징을 이용하여 시스템을
학습시키는 콘텐츠 기반의 방법은 이런 문제들을 다소 해결할 수 있으므로 중요시되고 있다.
최근 딥러닝을 중심으로 학습 알고리즘을 이용하여 데이터의 특징을 추출하는 연구가 많이 진행되고
있으며, 음악 오디오에서도 많은 시도가 있다. 크게 비감독 학습과 감독 학습으로 나눌 수 있는데, 비감독
학습으로 음악의 구별되는 특징을 찾는 것은 어려운 일이므로 주로 감독 학습으로 이루어지고 있다. 감독
학습은 대부분 장르나 분위기와 같은 의미론적 레이블로 학습이 되고 있으며, 이를 위해서는 곡에 알맞은
레이블을 부여하는 태깅 작업이 선행되어야 한다. 하지만, 이 작업은 주관성이 높아 데이터에 노이즈가
많으며, 수집하는 데 시간이 오래 걸리고, 전문가들로부터 수집된 좋은 질의 데이터들은 큰 비용이 든다.
그러므로 여전히 메타데이터나 사용자 데이터를 이용하는 것의 문제점을 완전히 해결하지는 못한다.
이 논문에서는 모든 상업 음원에 표기된 아티스트 레이블을 이용하여 오디오를 해당 아티스트로 분류
함으로써 아티스트 아이덴티티를 담는 오디오 특징을 학습하는 방법을 제안한다. 아티스트 레이블은 쉽게
많은 양의 데이터를 얻을 수 있어 태그 데이터보다 훨씬 경제적이며, 주관성이 전혀 없고, 음악에는 각 아티스
트의 음악적 스타일이 담겨있다는 가정 하에 가장 객관적으로 음악을 묘사할 수 있는 레이블이라고 보았다.
먼저, 심층 컨볼루션 뉴럴 네트워크를 오디오 입력으로부터 많은 수의 아티스트로 분류하게 학습시킨 뒤,
학습된 모델을 일반적인 특징 추출기로 간주하여 아티스트 인식, 장르 분류, 그리고 음악 자동 태깅 등의
작업에 적용하였다. 실험 결과로부터 해당 특징이 아티스트 인식뿐만 아니라 장르, 분위기, 태그 분류 등
다른 작업에도 유용함을 나타내었다. 이는 쉽게 얻을 수 있는 아티스트 레이블로도 일반적인 음악 오디오
특징을 효과적으로 포착한다는 것을 의미한다. 마지막으로 제안된 아티스트 특징을 음악 검색에도 활용해
보았다.
