Split learning (SL) is a recently introduced distributed machine learning technique that enables training of a deep neural network without accessing the massively produced data on the edge devices. SL has a great potential for resource-constraint devices as the network is divided into chunks for the clients and the server complying with their computation powers. While this is lucrative for the clients to work on the smaller model, the server is held accountable for processing the dominant share of the neural network. This computation burden at the server-side becomes onerous especially when a considerable number of clients participate in a training round. Also, the communication requirement from the split client-side network becomes paramount with more data and large network sizes. Additionally, the large data size at the clients may not be equally important for the network training. Data selection is an innate approach to reduce the computation burden and revamp the performance of a neural network. However, existing data selection approaches are limited in the context of SL as the neural network is decentralized, distributed and the client data is also private. This work is the first attempt to consider activation selection in the framework of split neural networks such as SL. The proposed technique works by selecting uncertain activations generated at the client-side network in SL through a small auxiliary network trained on the client's data. The selected subset of these activations is then sent to the server for training the whole neural network. Extensive experimentation and empirical results corroborates that the proposed technique significantly reduces computation burden at the server end and the communication requirement between the server and the clients. Meanwhile, the low-level embeddings learned at the client-side with its local data contributes to better performance (+3\%) as compared to vanilla SL.
분할학습(SL)은 최근 도입된 분산 기계학습 기술로 엣지 디바이스에서 수집된 데이터에 서버가 직접 접근하지 않고도 심층 신경망을 학습할 수 있다. SL은 클라이언트와 서버의 계산 능력에 따라 모델을 분할하기 때문에 자원이 한정되어있는 상황에서 잠재력이 큰 기술이다. 클라이언트 측은 작은 모델을 학습하게 되지만, 서버측은 모델의 큰 부분을 담당하게 된다. 서버 측의 이러한 계산 부담은 상당한 수의 클라이언트가 학습에 참여할 때 더욱 커지게 된다. 또한 더 많은 데이터가 있고 모델의 크기가 클수록, 분할된 클라이언트측 네트워크 통신량은 상당해진다. 더 나아가, 각 클라이언트의 큰 데이터셋 사이즈는 중요도가 다를 수 있다. 데이터 선별 기술은 네트워크를 학습하기 위한 계산 부담을 줄이고 신경망의 성능을 개선하기 위한 접근법이다. 그러나 기존의 데이터 선별 기술은 네트워크가 분산되어있고 각 클라이언트의 데이터 익명성이 중요한 SL에서 사용되기에는 한계가 있다. 해당 연구는 SL 상황 등과 같이 activation 단계에서 데이터 선별 기술을 연구한 첫 논문이다. 제안하는 기술에서는 작은 보조 네트워크를 이용하여 불확실성이 높은 activation을 클라이언트 측에서 선별한다. 그리고 선택된 activation을 서버로 전송함으로써 전체 네트워크가 학습된다. 다양한 실험을 통해 제안된 기술이 서버측의 계산부담을 상당히 줄이면서 (1\% 정확도 차이로 최대 50배) 서버와 클라이언트 사이의 통신 부담 또한 줄인다는 것을 확인하였다. 또한 클라이언트 측의 데이터로 학습된 low-level 임베딩은 기존의 SL에 비해 3\% 이상의 성능 개선을 가져다준다.
