Federated learning is a collaboratively training process of several local client models. It aims to train a global server model from client models without directly accessing to private client data. However, federated learning suffers from data heterogeneity of client data. Ensemble distillation that distills knowledge of clients to server by matching prediction is a possible solution for data heterogeneity but it requires a public dataset. In this research we propose a method to make use of condensed client data in federated learning that doesn’t require public dataset. To mitigate data heterogeneity issue, we condensed client data and use it as an input of ensemble distillation and empirically show that it is beneficial to improve overall performance in heterogeneous situations.
연합학습은 다양한 지역 고객 모델들을 협력적으로 학습하는 방법론이다. 이는 고객 모델들의 사적인 데이터에 직접 접근하지 않은 상태로 전역 서버 모델을 학습하는 것을 목표로 한다. 그러나 연합학습은 고객 데이터가 이기종으로 분포되어 있을 때 서버 학습에 어려움을 겪는다. 앙상블 증류는 이를 해결하는 한 가지 방법으로, 고객 모델의 예측값과 서버 모델의 예측값을 일치시켜주는 방법으로 서버에게 지식을 증류한다. 하지만 이 방법은 추가적인 공적인 데이터를 필요로한다. 이 연구에서는 고객 데이터를 축약하는 방법을 통해 공적인 데이터가 필요로 하지 않는 방법론을 제시한다. 이기종 데이터 상황에서 학습의 어려움을 완화하기 위하여 고객의 데이터를 축약해서 활용하여 앙상블 증류의 입력값으로 이용하였고 이러한 방법은 이기종 데이터 상황에서 성능 향상에 도움을 줄 수 있다는 것을 실험적으로 보였다.
