In this thesis, we propose robust federated learning (FL) approach in a statistical heterogeneous environment and develop FL based automatic music transcription (AMT) system.
FL is emerging as a next-generation collaborative computing framework to replace traditional centralized learing (CL) methods. Specifically, the machine learning models of clients are trained through secure model aggregation rather than data aggregation. Due to statistical heterogeneity in the client's local datasets, conventional FL approaches results in degradation of performance in FL. We proposed greedy aggregation to tackle the statistical heterogeneity challenge of FL. With proposed approach, we have achieved higher performance than FedAvg and FedShare with low communication cost based on MNIST dataset.
AMT is the process of converting an acoustic musical signal into form of musical notation. Due to data privacy leak problems and high communication costs of transferring audio data to the parameter server, it is a major challenge to build AMT models on traditional machine learning with large scale. In this thesis, we designed FedMusic - automatic music transcription system powered by a cooperative training method. With proposed system, a client can operate AMT locally without uploading its audio data to the parameter server with low communication cost. We have shown that proposed system outperformed CL with low communication cost experimented on the MAESTRO dataset.
본 논문에서는 통계적 이질성 환경에 강한 연합학습 방안을 제시하고, 연합학습을 기반으로 한 자동 음악 채보 시스템 개발을 목표로 한다.
연합학습은 기존의 중앙 집중식 컴퓨팅 방식을 대체할 차세대 협업 컴퓨팅 프레임워크으로 떠오르고 있다. 구체적으로 클라이언트의 데이터 집계가 아닌 기계 학습 모델 집계를 통해 학습된다. 이러한 연합학습은 클라이언트 로컬 데이터의 통계적 이질성으로 인해 성능이 저하된다. 이 논문에서 우리는 연합학습의 통계적 이질성 문제를 해결하기 위해 Greedy aggregation을 제안한다. 제안한 알고리즘을 MNIST 데이터셋으로 확인한 결과 선택적 집계를 통해 낮은 통신 비용으로 FedAvg 및 FedShare보다 높은 성능을 달성함을 보여주었다.
자동 음악 채보는 음향 음악 신호를 악보 형식으로 변환하는 방법이다. 이러한 자동 채보 시스템이 중앙 집중식 컴퓨팅 방식을 사용할 때 데이터 유출 문제와 전송시 높은 통신 비용을 발생시킨다. 이 논문에서 우리는 연합학습 기반으로 구동되는 자동 음악 채보 시스템인 FedMusic을 제안한다. 제안 된 시스템을 통해 클라이언트는 적은 통신 비용으로 데이터를 파라미터 서버에 전송하지 않고도 로컬에서 자동 음악 채보 모델을 학습 한다. 제안한 알고리즘을 MAESTRO 데이터셋으로 확인한 결과 중앙 집중식 컴퓨팅 방식 보다 낮은 통신비용으로 높은 성능을 달성함을 검증하였다.
