In Federated Learning, a central server trains a model by communicating the model with edge devices, and edge devices train the model individually on themselves without exchanging data samples with the central server. However, the trained central model obtained from the classic federated learning cannot perform well in diverse environments of edge devices. Therefore, many personalization approaches on federated learning were proposed to increase performance across diverse environments. Among these personalization methods, we focused on the method that utilizes Model-Agnostic Meta-Learning (MAML). We identified the problem that the model performance degrades in MAML-based personalization because the model overfits to the training tasks. To overcome this issue, we propose a task augmentation method, $\textit{label shuffling}$, that alleviates the task overfitting problem. For every epoch, labels are shuffled randomly, while data samples with same labels receive same labels after shuffling. With this approach, we can augment new, yet realistic tasks. We simulated our method on two human activity recognition datasets and one human speech recognition dataset. We found that the classification accuracy was improved by 4.07%p and 0.83%p for human activity recognition datasets, and the classification accuracy was improved by 8.33%p for human speech recognition dataset compared to the existing MAML-based personalization method. We visualize loss functions and conclude that the accuracy improvement is due to reduced task overfitting.
연합학습은 엣지 기기들이 각자 가진 데이터를 중앙 서버로 보내지 않고 각자 학습한 뒤, 학습한 모델만을 중앙 서버와 통신하여 하나의 최종 모델을 협력적으로 학습하는 방법이다. 그러나 이렇게 학습한 최종 모델은 다양한 조건의 엣지 기기들에게 최적화된 결과를 제공하기 어렵다는 문제가 있다. 따라서 연합학습을 엣지 기기들에서 더 효과적으로 사용하기 위해 여러 방향의 연합학습 모델 개인화 방식이 제안되었다. 본 논문에서는 여러 개인화 방식 중 메타학습 방법인 Model-Agnostic Meta-Learning (MAML) 을 기반으로 하는 개인화 방식을 사용할 때, 태스크 과적합 문제가 발생하여 성능이 떨어지는 문제를 분석하였다. 또한 이러한 과적합 문제를 해소하기 위해 레이블을 섞는 태스크 증강 방법을 제안하였다. 제안한 태스크 증강 방법은 매 학습 epoch마다 레이블을 섞되, 같은 레이블을 가진 데이터는 계속 같은 레이블을 부여함으로써 새롭지만 현실적인 태스크를 만들 수 있다. 제안한 태스크 증강 방법의 효과를 검증하기 위해 2개의 사용자 행동 인식 데이터셋과 1개의 사용자 음성 인식 데이터셋을 이용해 연합학습을 시뮬레이션했다. 실험 결과 사용자 행동 인식 데이터셋은 기존의 MAML 기반 개인화 연합학습에 비해 분류 정확도가 각각 4.07%p, 0.83%p 상승하였으며, 사용자 음성 인식 데이터셋은 분류 정확도가 8.33%p 상승하였다. 학습에 따른 손실 함수를 검증한 결과, 태스크 과적합 문제가 효과적으로 감소하였기 때문에 분류 정확도가 향상되었다고 볼 수 있다.
