Federated Learning is a distributed learning methodology for training a server model across devices that keep their data locally. Recently, Federated Learning has established itself as one of the research fields to address social issues as to privacy infringement. However, a distributed data environment do not follow the identical independent distribution, making it harder for existing methodologies of machine learning to be applied immediately. This data heterogeneity leads to over-fitting on local data in federated learning, which undermines the performance improvement of the server model. In this work, we present Localized Binary Cross-Entropy (LBCE) as a loss function to prevent over-fitting to local data in distributed environments. When a local machine learns a model using a conventional cross-entropy function, it uses error signals for a data class that does not belong to local data. Thus, to limit over-fitting, the LBCE loss function maintains the independence of each class by using a sigmoid function instead of a softmax activation function while regulating signals for data classes that do not belong to local data. LBCE outperformed conventional softmax cross-entropy in various situations of distributed data that did not follow the identical independent distribution.
연합 학습은 로컬의 데이터를 서버에 저장하지 않으면서, 모델을 학습하는 분산 학습 방법론 중 하나이다. 연합 학습은 개인 정보 침해라는 사회적 이슈에 대응하기 위한 연구분야로 자리매김하게 되었다. 그러나 분산된 데이터 환경은 독립항등분포를 따르지 않기 때문에 기존의 기계 학습의 방법론을 바로 적용하기 힘들게 만든다. 특히, 이러한 데이터 이질성은 연합 학습에서 로컬 데이터에 대한 과적합 현상을 일으켜 서버 모델의 성능향상을 저해하는 요인이 된다. 본 연구에서는 분산된 환경에서 로컬 데이터에 대한 과적합 현상을 방지하는 손실 함수로써 지역적 이분 교차엔트로피를 제시한다. 기존의 소프트맥스 교차엔트로피 함수를 사용하여 로컬 머신이 모델을 학습할 때, 로컬 데이터가 지니지 않은 데이터 클래스에 대한 에러 시그널까지 사용하게 된다. 따라서 지역적 이분 교차엔트로피는 시그모이드 활성 함수를 사용하고 로컬 머신이 지니지 않은 클래스에 대한 시그널을 제한함으로써 과적합 현상을 제한하였다. 지역적 이분 교차엔트로피는 독립항등분포를 따르지 않는 분산 데이터의 다양한 상황에서 기존의 소프트맥스 교차엔트로피에 비하여 뛰어난 성능을 보였다.
