In this thesis, we present effective methods for music summarization which automatically extract a representative portion of the music by signal processing technology. One proposed method, which has the framework of two-stage clustering, uses 2-dimensional similarity matrix, tempo tracking, and clustering techniques to extract several segments which have different moods or dissimilar semantic structure in the music. The other method proposed uses segment similarity based on identity of codeword indexes of each music frame. The method aims to find repetitive structure of music and to utilize a process of human perception which recognizes a hook of music. The segments extracted are combined to generate a complete music summary in both two methods proposed. Experiments show the proposed methods capture the main theme of the music more effectively than a conventional method. The experimental results also show that one of the proposed methods could be used for real-time application since the processing time in generating a music summary is much faster than other ones.
본 논문은 신호처리 기법을 사용하여 디지털 음악을 효과적으로 자동 요약 생성하는 기법에 대해서 제안하였다. 기존의 방법은 음악 신호를 일정 길이의 프레임으로 나누고 이산 푸리에 변환을 기반으로 프레임 별 특징을 추출하여 프레임 간의 유사도를 구해 이를 2차원 행렬로 시각화하여 처리하는 방식이 대표적이었다. 다른 방식으로는 각 프레임의 특징을 추출한 후 클러스터링을 하고 각 클러스터를 확률 모델링 하여 음악의 구조를 분석하고 이를 이용하는 방법도 있다. 하지만 이런 방식들은 한 음악 내의 반복적인 대표 부분을 추출하는 방식에 머무르거나 음악 신호의 음정 특징의 유사도를 위주로 처리했기 때문에 다양한 분위기의 부분을 조금씩 추출해 취합하여 요약으로 제공하는 보다 근본적인 요약 기법의 필요성이 대두되었다. 또한, 기존 기법들의 처리 시간이 길어 실시간 어플리케이션에 적용되기에는 무리가 있다. 따라서, 본 논문에서는 음악 내의 다양한 분위기의 부분을 파악하기 위해 오디오의 리듬 패턴 특징을 추출하여 1단계 클러스터링을 하고 이 결과를 바탕으로 오디오의 음색 특징벡터를 추출하여 2단계 클러스터링을 하여 음악 내 다양한 분위기의 부분을 조금씩 추출하여 취합하여 음악 요약으로 생성하는 2단계 클러스터링 기법을 제안했다. 실험결과 제안된 2 단계 클러스터링 기법은 음악의 다양한 부분을 상대적으로 많이 포함하고 코러스 등의 음악의 중요 부분을 잘 포함하는 것으로 나타났다. 처리 시간을 줄이기 위해서는 벡터 양자화를 통해 음악 구간 쌍의 유사도를 계산하는 방식을 통해 음악 요약을 생성하는 구간 유사도 기법을 제안했다. 프레임 별로 pitch class profile 특징 추출 후 클러스터링을 수행한 다음 벡터양자화 코딩을 하여 구간 유사도를 파악하는 이 기법은 처리 속도 면에서 상대적으로 우수함을 알 수 있었고 성능 또한 적절함을 보여 주었다.
