With the increasing number of edge nodes such as mobile phones, Internet of Things (IoT) devices and smart vehicles/drones, large amounts of valuable computing resources are now located at the edge. Moreover, a large portion of data generated nowadays is collected at these distributed nodes at the edge. In this sense, distributed machine learning (ML) is becoming significantly important and receiving considerable attention nowadays. This thesis proposes fast, robust and communication-computation efficient distributed machine learning (ML) solutions that are becoming increasingly important in current edge networks with a number of distributed nodes. In the first part of the thesis (Chapters 2 and 3), we focus on distributed learning which aims to speed up training via data parallelization. By utilizing the tools of information theory and coding theory, we develop a fast and robust distributed learning solution highly tailored to the practical communication networks. In the second part (Chapter 4), we focus on federated learning, where the goal is to collaboratively train a model without directly uploading the local/private data of each node to the server. We propose an algorithm that can speed up federated learning using multiple edge servers in a wireless setup. Finally in the third part (Chapter 5), we focus on split learning, which enables to reduce the computation burden at the clients by splitting the model architecture (i.e., the neural network) into the client-side model and the server-side model. We propose an algorithm that can address the latency and communication efficiency issues of current federated/split learning approaches, via a local-loss-based training method specifically geared to the split learning setup.
스마트폰이나 IoT 기기들과 같은 엣지 노드들의 수가 증가함에 따라 엣지단에서 사용할 수 있는 컴퓨팅 자원의 양이 점점 늘어나고 있다. 또한 많은 양의 데이터가 엣지에 분산되어 있는 노드들에서 수집되고 있다. 이러한 측면에서 분산 기계학습 기술의 중요성은 점점 더 커지고 있다. 이 논문에서는 빠르고, 강인하고, 통신 및 계산 측면으로 효율적인 분산 기계학습 기술들을 제안한다. 학위논문의 첫번째 파트에서는 데이터 병렬 처리를 통해 학습 속도를 높이는 분산 학습을 다룬다. 정보이론과 부호이론을 이용하여 통신 네트워크에 특화된 빠르고 강인한 분산 기계학습 기술을 제안한다. 두번째 파트에서는 각 사용자들의 개인 데이터를 서버로 올리지 않고 학습을 진행하는 연합 학습을 다룬다. 무선 통신 상황에서 여러 대의 엣지 서버를 활용하여 연합 학습의 속도를 높이는 알고리즘을 제안한다. 마지막으로 세번째 파트에서는 모델을 사용자 측 모델과 서버 측 모델로 분할하여 학습을 진행하는 분할 학습을 다룬다. 분할 학습 상황에 적합한 지역 손실 학습 기법을 통해 현재 연합/분할 학습 기술들의 지연 시간, 통신 및 계산 효율성 문제점을 해결한다.
