In this thesis, we propose machine-learning-based systems for transcriptions and computational modeling of piano performance. The performance transcription is defined as a quantization of how a pianist performed given music score, in terms of tempo and dynamics. The Dynamics can be transcribed by non-negative matrix factorization, which decomposes audio spectrogram into spectral templates of pitch and its activation over time. We employ score information as a constraint for the update of NMF to improve the performance of the algorithm. Also, we propose a method to overcome the limitation that note intensities are greatly affected by recording gain. We trained a deep neural network to estimate the key velocity of each note from the note-separated spectrogram derived from NMF. The gain of the note-separated spectrogram is normalized so that the neural network can estimate the key velocity by focusing on the timbral aspect rather than the intensity. For the other topic, we propose a performance modeling system using a deep neural network by using quantized performance. A performance modeling system is a system for creating human-like expressive performances for a given score input. To train the modeling system, we introduce a data set consisting of score and performance, and we propose a score and performance feature scheme. We also propose a system that uses graph neural network by presenting a graphical representation of musical score rather than a 1-d sequence or a 2-d matrix. Lastly, we present the example analysis of distinguished pianists from their audio recordings using our transcription and modeling system.
본 연구에서는 기계학습을 이용한 피아노 연주 채보와 계산적 모델링을 위한 시스템을 제안한다. 피아노 연주의 채보는 악보와 연주가 있을 때, 악보를 어떻게 연주하였는지를 정량화하는 것으로, 이 연구에서는 연주의 주된 성질 중 하나인 다이나믹을 채보하는 내용을 다루고 있다. 연주 다이나믹의 채보를 위해서는 비음수행렬분해를 사용하여 음고별 음향 스펙트럼과 이들의 시간별 활성도를 분석한다. 이 때 연주에 정렬된 악보를 행렬분해의 제한사항으로 적용하여 시스템의 성능을 높일 수 있다. 또한 소리의 활성도가 녹음 게인에 큰 영향을 받는다는 것을 극복하기 위한 방법을 제시한다. 비음수행렬분해로 분해한 음표별 음향 스펙트럼에서 음표를 연주할 때 타건 속도를 추정하도록 인공신경망을 학습시킨다. 이 때 입력으로 사용되는 음향 스펙트럼의 게인을 정규화하여 신경망이 소리의 크기가 아닌 음색적인 특성에 집중하여 타건 속도를 추정하게 한다. 본 연구는 연주 채보 이외에도 정량화된 연주를 활용하여 인공신경망을 이용한 연주 모델링 시스템을 제안한다. 연주 모델링 시스템은 입력으로 주어진 악보에 대해 사람같이 표현력 있는 연주를 생성하는 시스템이다. 이를 위해 악보와 연주로 이루어진 데이터셋을 구성하였고 인공신경망의 입력과 출력으로 사용되는 악보 및 연주 특성들을 새롭게 제안한다. 또한 악보를 1차원 수열이나 2차원 행렬로 표현하지 않고 그래프로 표현하는 방식을 제안하여 그래프 신경망을 활용한 시스템을 제안한다. 최종적으로 채보와 모델링 시스템을 종합하여 오디오 녹음으로 남겨진 유명 피아니스트들의 연주들의 스타일 분석의 예시를 선보인다.
