Personalized model development has drawn keen attention, along with the success of deep learning in various fields. To develop personalized (i.e., client- or task-specific) models, learning paradigms consist of two phases in general: representation learning on the source domain and adaptation on the target domain. Under this framework, data heterogeneity is a fundamental challenge in model development. There are typically two forms of data heterogeneity: (1) between various source datasets (i.e., source-to-source heterogeneity) and (2) between source dataset and target dataset (i.e., source-to-target heterogeneity). In this vein, we focus on two topics to solve each data heterogeneity challenge: (1) personalized federated learning (pFL) and (2) cross-domain few-shot learning (CD-FSL).
In the first part, we propose a simple but effective pFL algorithm. We observe that the enhanced global performance might hinder personalization and we point out that personalization performance degradation stems from training the head (i.e., linear classifier). Based on this observation, we propose FedBABU (FedAvg with Body Aggregation and Body Update), which updates only the body (i.e., extractor) of local models during federated training (i.e., randomly fixed and shared classifier). Extensive experiments reveal performance improvements and efficient personalization of FedBABU.
In the second part, we propose a simple but effective meta-learning based CD-FSL algorithm. The most well-known gradient-based meta-learning algorithm is Model Agnostic Meta-Learning (MAML). It was discovered that the effectiveness of MAML is predicated on representation reuse, which results in little change in efficient representations. Meanwhile, we investigate the necessity of representation change, considering the data heterogeneity between source and target domains. To this aim, we propose BOIL (Body Only update in Inner Loop), which updates only the body of the model and freezes the head during task-specific updates to force movement of representations. Extensive experiments show that BOIL outperforms MAML, notably on cross-domain tasks.
In the third part, we focus on the pre-training phase under transfer learning based CD-FSL. In cross-domain contexts, transfer learning approaches have recently been shown to outperform meta-learning approaches. Recently, to handle cross-domain scenarios, self-supervised pre-training using small-scale unlabeled data from the target domain during the pre-training stage has been studied. We empirically evaluate which pre-training is better based on domain similarity between source and target domains and few-shot difficulty of the target domain. We discover that the performance benefit of self-supervised pre-training over supervised pre-training becomes considerable, when the target domain is dissimilar to the source domain or the target domain itself has low few-shot difficulty. Extensive experiments and analyses provide guidelines for pre-training under CD-FSL.
In the last part, we focus on the fine-tuning phase under transfer learning based CD-FSL. Utilizing the universal representation for downstream tasks has become increasingly crucial, but there has been little study on fine-tuning in CD-FSL. Therefore, we concentrate on how to transfer pre-trained models to few-shot downstream tasks from three viewpoints: update, data augmentation, and test-time augmentation. It is shown that using both data augmentation and test-time augmentation improves performance compared to not using both and that updating the entire network is better if data heterogeneity gets greater. We leave the algorithm advancement based on these fundamental analyses as future work.
다양한 분야에서 딥 러닝의 성공과 함께 개인화 모델 개발이 큰 관심을 끌고 있다. 개인화 모델을 개발하기 위한 학습 패러다임은 일반적으로 소스 데이터를 활용한 표상 학습과 타겟 데이터를 활용한 적응의 두 단계로 구성된다. 이러한 프레임워크에서 데이터 이질성은 항상 존재하며 모델 개발의 근본적인 어려움을 만든다. 데이터 이질성은 일반적으로 (1) 다양한 소스 데이터들 간 이질성 또는 (2) 소스 데이터와 타겟 데이터 간 이질성이라는 두 가지 형태로 존재한다. 이러한 맥락에서, 각 이질성이 제공하는 문제를 해결하기 위한 (1) 개인화 연합 학습과 (2) 크로스-도메인 퓨샷 학습이라는 두 가지 주제에 초점을 맞춘다.
본 논문의 첫 번째 부분에서는 효과적인 개인화 연합 학습 알고리즘을 제안한다. 다양한 소스 데이터들 간 이질성 하에서 개선된 글로벌 모델이 개인화를 방해할 수 있다는 것을 관찰하고 개인화 성능 저하가 선형 분류기 훈련에서 비롯된다는 것을 지적한다. 이 관찰에 기초하여, 연합 학습 시 선형 분류기 훈련을 하지 않는 FedBABU 알고리즘을 제안한다. 광범위한 실험을 통해 FedBABU의 우수한 성능과 효율적인 개인화를 입증한다.
본 논문의 두 번째 부분에서는 효과적인 메타 학습 기반 크로스-도메인 퓨샷 학습 알고리즘을 제안한다. 가장 잘 알려진 메타 학습 기반 알고리즘은 MAML이다. MAML은 개인화 시 표상 재사용에 기반하므로 개인화된 추출기가 메타-초기화의 추출기로부터 거의 변화가 없는 것으로 밝혀졌다. 한편, 우리는 소스 도메인과 대상 도메인 간의 데이터 이질성을 고려하여 표상 변화의 필요성을 역설한다. 이 주장에 근거하여, 표상 변화를 강제하는 BOIL 알고리즘을 제안한다. 크로스-도메인 상황을 포함한 광범위한 실험을 통해 BOIL의 우수한 성능과 효율적인 개인화를 입증한다.
본 논문의 세 번째 부분에서는 전이 학습 기반 크로스-도메인 퓨샷 학습 알고리즘의 사전 훈련 단계에 대한 기초 연구를 진행한다. 최근 크로스-도메인 퓨샷 학습 연구에서 전이 학습 접근 방식이 메타 학습 접근 방식을 능가하는 것으로 나타나고 있다. 또한, 사전 훈련 단계에서 타겟 도메인의 레이블이 지정되지 않은 소규모 데이터를 활용하는 자기-지도 훈련 방식이 연구되고 있다. 소스 도메인과 타겟 도메인 간의 도메인 유사도 및 타겟 도메인의 퓨샷 난이도를 기반으로 어떤 사전 훈련 방식이 더 나은지 실험적으로 제시한다. 타겟 도메인이 소스 도메인과 유사도가 낮거나 타겟 도메인의 퓨샷 난이도가 낮을 때 자기-지도 사전 훈련의 방식이 효과적임을 보인다. 광범위한 실험과 분석은 사전 훈련을 위한 지침을 제공한다.
본 논문의 마지막 부분에서는 전이 학습 기반 크로스-도메인 퓨샷 학습 알고리즘의 미세 조정 단계에 대한 기초 연구를 진행한다. 개인화 작업에 보편적 표상을 활용하는 것이 점점 중요해지고 있지만 미세 조정에 대한 연구는 거의 없다. 따라서 업데이트, 데이터 증강, 그리고 테스트-타임 증강 세 가지 관점에서 사전 훈련된 모델을 퓨샷 다운스트림 작업으로 전이하는 방법에 중점을 둔다. 기존에는 데이터 증강과 테스트-타임 증강을 사용하지 않고 선형 탐색을 하는 미세 조정을 하였지만, 데이터 증강과 테스트-타임 증강을 사용하며 데이터 이질성이 클수록 전체 네트워크를 업데이트 함이 성능 향상을 가져옴을 보인다. 이러한 기초적인 분석을 기반으로 한 알고리즘 고도화는 향후 연구로 남겨둔다.
