Music Summarization is to extract the repetitive section of a song. In previous work, similarity matrix is frequently used to summarize the music. The repetitive section is represented as the diagonal stripes and checkboard patterns in the similarity matrix. The former is good at the simple song, but can't be applied to the complex one. On the other hand, checkboard pattern is the generalized one which finds the chorus section with accuracy of 90%.
However, the assumption for this is the proper segmentation of the song which can fully reflect the entire structure of the song, and the segmentation of the song is not easy problem. If the segmentation is not correct, that method can't be applied. Therefore, I suggest the music summarization of iterative K-means clustering and SVD(singular value decomposition) for the segment construction under the imperfect segmentation . The post-processing through re-segmentation with K-means clustering gradually makes the not-optimized segments into the appropriate ones to the song. Finally, when the result of re-segmentation converged, the chorus section is obtained.
Currently, the widely spread feature for music analysis is ones for speech processing. But, the chroma feature is the music-specialized one. It was proved the better performance compared to the speech processing based feature. The MP3 music is popular nowadays, and the music summarization in compressed domain is in high demand. Although the previous works on chroma was in the PCM domain, this paper apply the chroma feature with the MP3 domain. The proposed system has been evaluated on the MP3 popular song. The experimental result shows the proposed system has the similar performance with the checkboard method under the proper segmentation.
음악 요약은 악곡에서 반복되는 구간을 추출하는 것을 목표로 한다. 유사도 매트릭스 분석은 기존 음악 요약 연구에서 즐겨 사용되고 있는 방법으로, 반복되는 구간은 유사도 매트릭스 상에서 대각선 선(diagonal stripes)나 체크 보드 패턴으로 나타난다. 대각선 선은 반복이 단순한 악곡에는 유용하나, 복잡한 음악에는 적용되어 질 수 없다. 반면,체크 보드 패턴은 일반화된 방법으로, 90% 의 정확성으로 반복되는 후렴구 구간을 찾을 수 있다.
그러나, 이런 방법은 곡의 전체 구조를 나타내도록 세그먼트가 나누어져야 한다는 가정이 존재한다. 하지만, 이런 세그먼트 분할 문제는 쉬운 문제가 아니다. 세그먼트 분할이 적절치 않으면, 이런 체크 보드 방법을 적용할 수 없다. 따라서, 본 논문에서는 불완전한 세그먼트 상에서 세그먼트 재구성을 위하여 K-means 클러스터링과 SVD(Singular Value Decomposition)의 반복 전용을 이용한 음악 요약을 제안한다. K-means 클러스터링을 통한 세그먼트 재분할의 후처리 부분을 통해 세그먼트는 단계적으로 악곡에 적합한 형태로 재구성되어 진다. 결과적으로 세그먼트 재분할 결과가 수렴하면, 후렴구 구간이 얻어 진다.
현재, 음악 분석에서 주로 쓰이는 특징 벡터는 음성 연구에서 주료 사용되어 지던 것으로, 음성에는 적합한 것이나, 음악에 특화되어 있지 않다.크로마 특징 벡터는 음악에 특화된 것으로, 음악 분석에 있어 더 향상된 결과를 나타내고 있다. MP3는 오늘날 널리 쓰이는 디지털 미디어로써, MP3와 같은 압축된 도메인에서의 음악 요약 연구가 절실히 요구되어 지고 있다. 크로마는 원래 PCM 도메인에서 연구되어 졌으나, 본 논문에서는 크로마를 MP3 도메인에 적용하였다. 제안된 시스템은 MP3 형태의 가요에 대해 실험되어 졌으며, 기존의 적합한 세그먼트를 가정한 체크보드 방법과 유사한 결과를 보여주는 실험 결과를 얻었다.
