Consider a distributed computing system in which the worker devices are connected over a shared wireless channel. Devices can store a fraction of the data set over which computation needs to be carried out, and a Map-Shuffle-Reduce protocol is followed in order to enable collaborative processing. If there is exists some level of redundancy among the computations performed at the nodes, the inter-node communication load during the Shuffle phase can be reduced by using either coded multicasting or cooperative transmission. It was previously shown that the latter approach is able to reduce the high-Signal-to-Noise Ratio (SNR) communication load by half in the presence of full-duplex nodes and perfect transmit-side Channel State Information (CSI). In this work, a novel scheme based on superposition coding is proposed that is demonstrated to outperform both coded multicasting and cooperative transmission under the assumption of imperfect CSI. This work also considers an alternative scenario, relevant for wireless data centers and federated learning, in which the distributed processors, operating on generally distinct coded data, are connected via shared wireless channels accessed via full-duplex transmission. The study accounts for both wireless and computing impairments, including interference, imperfect Channel State Information, and straggling processors, and it assumes a Map-Shuffle-Reduce coded computing paradigm. The total latency of the system, obtained as the sum of computing and communication delays, is studied for different shuffling strategies revealing the interplay between distributed computing, coding, and cooperative or coordinated transmission.
이 논문에서는 작업자 장치가 공유 무선 채널을 통해 연결되는 분산 컴퓨팅 시스템을 고려하였다. 장치는 계산을 수행해야 하는 데이터의 일부분을 저장할 수 있으며, 협업 처리를 가능하게 하기 위해 Map-Shuffle-Reduce 프로토콜을 따른다. 장치에서 수행되는 계산 사이에 어느 정도의 중복성이 존재하는 경우, 셔플 단계 동안의 장치 간 통신 부하를 코드화된 멀티캐스팅 또는 협력 전송을 사용하여 줄일 수 있다. 이전에는 후자의 접근방식이 전이중 노드와 완벽한 송신측 채널 상태 정보가 존재하는 상황에서 높은 신호 대 잡음 비 통신 부하를 절반으로 줄일 수 있다는 것을 보여주었다. 이 논문에서는 불완전한 CSI를 전제로 코딩된 멀티캐스팅과 협동 전송을 모두 능가하는 것을 증명하는 중첩 코딩에 기초한 새로운 연구를 제안하였다. 또한 본 연구에서는 일반적으로 구별되는 코드화된 데이터로 운영되는 분산형 프로세서가 전이중 전송을 통해 접속되는 공유 무선 채널을 통해 연결되는 무선 데이터 센터 및 연합 학습과 관련된 대안적인 시나리오도 고려하였다. 이 연구는 간섭, 불완전한 채널 상태 정보 및 낙오된 프로세서를 포함한 Map-Shuffle-Reduce 프로토콜 환경에서 컴퓨팅과 통신 지연의 합으로 얻은 시스템의 총 지연 시간을 성과 측정 지표로 하여, 분산 컴퓨팅, 코딩 및 협력적 또는 조정된 전송 사이의 상호작용을 나타내는 서로 다른 셔플링 방법에 대해 연구하였다.
