Federated learning (FL) is an actively studied training protocol for distributed artificial intelligence (AI). One of the challenges for the implementation is a communication bottleneck in the uplink communication from devices to FL server. To address the issue, many researches have been studied on the improvement of communication efficiency. In particular, analog transmission for the wireless implementation provides a new opportunity allowing whole bandwidth to be fully reused at each device. However, it is still necessary to compress the parameters to the allocated communication bandwidth despite the communication efficiency in analog FL. In this paper, we introduce the count-sketch (CS) algorithm as a compression scheme in analog FL to overcome the limited channel resources. We develop a more communication-efficient FL system by applying CS algorithm to the wireless implementation of FL. Numerical experiments show that the proposed scheme outperforms other bench mark schemes, CA-DSGD and state-of-the-art digital schemes. Furthermore, we have observed that the proposed scheme is considerably robust against transmission power and channel resources.
연합학습은 분산인공지능 분야에서 활발하게 연구되는 훈련 프로토콜이다. 구현을 위한 극복 과제중 하나는 장치에서 서버로의 업링크 통신에서의 병목현상이다. 이를 해결하기 위해 통신효율성 향상에 대한 많은 연구가 진행되어 왔다. 특히 무선 구현을 위한 아날로그 전송방식의 적용은 각 장치에서 전체 대역폭을 완전히 재사용할 수 있는 새로운 기회를 제공하였다. 하지만 아날로그 연합학습의 뛰어난 통신 효율성에도 불구하고 할당된 통신 대역폭에 맞게 여전히 파라미터를 압축할 필요가 있다. 본 논문에서는 제한된 채널 자원을 극복하기 위해 아날로그 연합학습에서 사용가능한 압축 방식으로 Count-Sketch (CS) 알고리즘을 소개한다. 연합학습의 무선구현에서 CS알고리즘을 적용하여 보다 통신 효율적인 연합학습 시스템으로 발전시킬 수 있었다. 시뮬레이션 결과는 제안된 방식이 다른 벤치마크 방식인 CA-DSGD 및 최신 디지털 방식 보다 성능이 우수함을 나타낸다.
