In this thesis, we investigate the performance of Federated Learning (FL) with Federated Distillation (FD) and Hybrid Federated Distillation (HFD), which is proposed in this these, considering wireless implementations. First of all, we propose the analog and digital transmission schemes how to implement FD and HFD over wireless communication environment. And we compare the performances of FL, FD, and HFD under wireless implementations, even when considering both of uplink and downlink. Furthermore, we modify the analog transmission scheme of FL, especially when distributed stochastic gradient descent (DSGD) is adopted for weight update. The proposed schemes show considerable improvements, especially in the case of non i.i.d. data allocation with low number of allowed channel uses, which can not be supported by the previous analog transmission scheme well. And we propose a update strategy applied in digital transmission scheme for DSGD, which adopts element-wise averaging update scheme. The performance is considerably improved when the scheme is adopted to the state-of-the-art digital transmission for DSGD with error accumulation. Finally, we propose a local weight update scheme for the introduced DSGD implementations. With this scheme, both of digital and analog transmission schemes show considerable improvements compared to the previous DSGD implementations.
본 학위 논문에서, 우리는 무선 통신 환경을 고려할 때의 연합 학습과 연합 증류에 대해서 고려한다. 특별히, 연합 증류의 성능을 개선하기 위해 하이브리드 연합 증류를 제안한다. 또한, 연합 증류와 하이브리드 연합 증류를 무선 통신 환경에 적용하기 위한 디지털, 아날로그 송수신 전략에 대해 제안한다. 이를 바탕으로 무선 통신 환경에서 연합 학습과 연합 증류의 성능을 비교한다. 더군다나 이를 위해, 업링크와 다운링크를 둘다 고려한다. 더욱이 연합 학습의 성능 개선에 초점을 맞춰서, 먼저 아날로그 통신 기법을 개선한다. 이 제안한 아날로그 통신 기법은, 기존 아날로그 통신 기법에 놀랍게 향상된 성능을 보인다. 또한 기존 아날로그 통신 기법이 취약했던 낮은 채널 활용수와, 훈련 데이터가 비슷하게 분포 되어 있지 않은 환경에서 더욱 큰 성능향상을 보인다. 또한 그래디언트의 성분 별로 평균을 내어서 업데이트를 진행하는 기법을 고려하여, 디지털 통신 기법에 적용한다. 이 또한 기존의 최신 디지털 송수신 기법에 비해서 놀랍게 향상된 훈련 정확도를 보인다. 마지막으로 훈련 프로토콜을 통해 업데이트 되지 않는 성분에 대해 기기 별로 로컬 업데이트를 진행하는 기법을 제안한다. 이 기법을 적용시에, 기존의 아날로그 디지털 통신 기법은 물론 본 학위논문에서 제안된 통신 기법 모두에서 큰 성능 향상으 보인다.