Federated learning is a machine learning technique that can overcome the privacy and limited bandwidth issues of centralized learning, where local data is sent to a server to train a model on a central server. However, in real-world scenarios, Federated learning suffers from heterogeneous clients with varying computing power. Due to heterogeneous clients, multiple global models must be created or the size of the global model must be reduced to fit the least capable client, which leads to an overall performance degradation. In particular, clients with limited capabilities face difficult to train large, computationally intensive machine learning models. To address these challenges, we propose a novel federated learning framework to tackle with system heterogeneity. To enable training of large models despite limited client computing power, the proposed framework partitions large models into client-side and server-side models, with the partitioning point being flexible to accommodate heterogeneous client capabilities. This approach enables the server’s computational power to be utilized in addition to the client’s power to learn the larger model, thereby improving the model performance. By providing flexible partitioning points for different clients, it also enables all clients to participate in learning and reduces the unnecessary use of server power. Experiments show that the proposed algorithm effectively utilizes server power and outperforms
the baseline proposed algorithm.
연합 학습은 중앙 학습이 갖는 개인정보보호 문제와 제한된 대역폭 문제를 해결할 수 있는 기계학습 기법이다. 실제 시나리오에서의 연합 학습은 다양한 컴퓨팅 능력을 갖춘 이질적인 클라이언트가 있는 상황에서 어려움을 겪는다. 여러 개의 전역 모델을 생성하거나 전역 모델의 크기를 가장 능력이 좋지 않은 클라이언트에 맞춰 줄여야하며, 이는 전체적인 성능 저하를 야기한다. 특히 능력이 제한된 클라이언트는 계산이 많이 필요한 큰 기계학습 모델을 훈련하는 데 어려움을 겪을 수 있다. 이러한 문제를 해결하기 위해 우리는 시스템 이질성에 대처하는 혁신적인 연합 학습 프레임워크를 제안한다. 제안된 프레임워크는 제한된 클라이언트의 계산 능력에도 불구하고 큰 모델을 학습할 수 있게 하며, 분할하는 지점을 이질적인 클라이언트의 능력에 맞춰 유동적으로 제공한다. 이 접근법은 서버의 계산 능력을 활용하고 유동적인 분할점을 제공함으로써 성능과 클라이언트의 학습 참여율을 높인다. 실험에서는 제안된 알고리즘이 서버 능력을 효과적으로 활용하여 기본에 제안된 알고리즘의 성능을 능가하는 것을 보여준다.
