Deep learning has demonstrated remarkable performance in various fields thanks to a large amount of training data. Meanwhile, the proliferation of edge devices such as mobile and internet-of-things (IoT) devices is on the rise. The edge devices produce substantial amounts of data. There is a growing need for federated learning for on-device AI to train and utilize models using data generated from edge devices. Federated learning is a distributed machine learning framework that leverages the training data and computing resources of distributed users. However, federated learning trains a single global model where the size of models is increasingly becoming larger. Consequently, there may be constrains for edge devices in training a single large model due to their heterogeneous characteristics, including diverse communication network and environments, computing capabilities, and device memory. In this dissertation, the issue is considered by clients having heterogeneous model architectures tailored to the heterogeneous characteristics of clients. Model-agnostic federated learning is a study on federated learning for clients with different model architectures. Two approaches, nested federated learning and generative model-aided federated learning, are introduced for model-agnostic federated learning. Nested federated learning proposes to scale down a global model into submodels where each submodel is subset of the global model and to average the parameters of submodels by nested federated averaging. Generative model-aided federated learning proposes a method of training a single global model to represent data of clients, enabling the training of clients with various model architectures.
딥러닝은 많은 양의 학습 데이터 덕분에 다양한 분야에서 주목할 만한 성능을 보이고 있다. 한편 모바일 기기나 사물인터넷 기기등의 엣지 기기들은 늘어나고 있는 추세이며 이러한 엣지 디바이스로부터 많은 양의 데이터를 생산한다. 따라서 엣지 기기들로부터 나온 데이터를 통해 모델을 학습하고 활용할 수 있도록 하는 온 디바이스 AI를 위한 연합 학습의 필요성이 재고된다. 연합 학습은 분산 기계 학습 프레임워크로 분산된 사용자들의 학습 데이터와 컴퓨팅 자원을 활용한다. 그러나, 연합 학습은 하나의 글로벌 모델을 학습하며 모델의 크기는 점점 더 커지고 있다. 따라서, 엣지 기기들이 하나의 큰 모델을 학습하는 데에는 제약이 생길 수 있다. 엣지 기기들은 다양한 통신 네트워크 환경과 컴퓨팅 능력, 기기의 메모리 등을 포함하는 이종적인 특성을 가지고 있다. 본 논문에서는 사용자들의 이종적인 특성에 맞는 이종적인 모델 구조를 가진 것을 고려한다. 모델 불가지한 연합학습은 이종적인 모델 구조를 가지는 사용자들에 대한 연합 학습 연구이며 중첩된 연합 학습과 생성 모델 기반의 연합 학습 두 가지 접근 방법을 제안한다. 중첩된 연합 학습은 사용자들이 글로벌 모델의 부분 집합인 서브 모델 구조로 축소하는 방법과 그러한 서브 모델 구조들의 매개 변수를 합치는 방법에 대해 제안한다. 생성 모델 기반의 연합 학습은 하나의 생성 모델을 학습시켜 사용자들의 정보를 나타낼 수 있게 하여 여러 모델 구조를 가지는 사용자들을 학습시키는 방법에 대해 제안한다.
