Domain Adaptation (DA) involves leveraging knowledge from a labeled source domain to an unlabeled target domain. This adaptation implicitly assumes that the source domain and the target domain are from different distributions, making feature alignment a crucial aspect of the domain adaptation problem. Aligning the feature distributions allows the model to perform well on the unlabeled target domain by incorporating knowledge from the source domain. However, in realistic scenarios, certain factors can degrade the performance of domain adaptation models, leading to negative transfer, where the adapted model performs worse than the base model without adaptation. Therefore, this thesis investigates the factors contributing to negative transfer in domain adaptation under realistic scenarios and explores their impact on the performance of the target domain. To address negative transfer, we propose methods for robust feature alignment, demonstrating their effectiveness in improving performance. Specifically, we address negative transfer in two realistic scenarios of domain adaptation where existing feature alignment methods face challenges.
Firstly, we examine Open-Set Domain Adaptation (OSDA), addressing class-set mismatches where the target domain introduces unknown classes absent in the source domain. Feature alignment in OSDA can degrade performance due to negative transfer, aligning unwanted features from unknown classes with the source domain. Therefore, we identify the misalignment of unknown instances as a factor for negative transfer. To mitigate this, we propose unknown-aware domain adversarial learning for OSDA, segregating the target-unknown distribution during feature alignment. Theoretical analysis demonstrates the importance of explicitly segregating unknown features in OSDA.
Secondly, we explore negative transfer in Test-Time Adaptation (TTA), where adaptation must occur in an online manner without access to the source dataset. Existing TTA approaches face conflicts among individual objectives during online updates, leading to negative transfer. We identify conflicting gradients as a factor for negative transfer in TTA and propose an approach to update model parameters towards Pareto-Optimality across all individual objectives in the current batch. We introduce an extended Pareto optimization incorporating sharpness-aware minimization to anticipate unexpected distribution shifts during testing time, demonstrating its effectiveness through empirical analysis and experiments.
In summary, this thesis focuses on OSDA and TTA scenarios, identifying factors contributing to negative transfer and proposing robust feature alignment approaches to mitigate these challenges. Through various experiments, we establish that robust feature alignments lead to enhanced performance in domain adaptation by mitigating negative transfer.
도메인 적응(Domain Adaptation, DA)은 레이블이 지정된 소스 도메인에서 레이블이 없는 대상 도메인으로 지식을 이전하여 예측력을 높이고자 한다. 이러한 도메인 적응은 소스 도메인과 대상 도메인이 서로 다른 분포를 가정하므로 도메인 적응 문제에서 특징 정렬이 중요한 부분이다. 그러나 현실 상황에서는 도메인 적응 모델의 성능을 저하시키는 몇 가지 요소가 있다. 이러한 요소를 해결하지 않을 경우, 적응 모델이 기본 모델(적응 절차 없는 모델)보다 성능이 낮아지게 된다. 이를 부정적 전이라고 한다. 이에 따라 본 학위논문은 현실적인 상황에서의 도메인 적응에서 부정적 전이를 야기하는 요소를 탐색하고 이러한 요소가 대상 도메인의 성능에 미치는 영향을 파악하고자 한다. 또한, 그에 따라 부정적 전이를 완화하기 위한 특징 정렬 방법을 제안하고, 이것이 도메인 적응 성능 향상으로 이어진다는 것을 실험을 통해 보이고자 한다.
본 학위논문의 첫번째 연구는 개방형 도메인 적응 시나리오에서 발생할 수 있는 부정적 전이에 대하여 다루고자 한다. 개방형 도메인 적응은 대상 도메인에 소스 도메인에는 없는 추가적인 알려지지 않은 클래스가 있는 클래스 집합 불일치 상황을 가정한다. 이 상황에서 알려지지 않은 클래스의 특징이 소스 도메인과 함께 정렬되면 도메인 적응의 성능이 저하된다. 이를 완화하기 위해 본 연구에서는 개방형 상황에서 알려지지 않은 클래스에 대한 오인 정렬을 부정적 전이의 요인으로 식별하고, 이를 해결하기 위해 미지-인식 도메인 적대적 학습법을 제안하였다. 구체적으로, 특징 정렬 과정에서 소스와 인지-타켓 클래스에 속한 특징 분포는 정렬하며, 동시에 알려지지 않은 클래스에 속한 특징 분포는 소스, 인지-타겟 클래스의 특징 분포와 멀어지도록 하고자 한다.
두번째 연구는 테스트 상황에서의 적응(TTA) 시나리오에서의 부정적 전이에 대하여 탐색하고자 한다. 테스트 시간 적응은 소스 데이터에 액세스할 수 없고 소스 데이터로 훈련된 모델에만 액세스할 수 있다고 가정한다. 이 가정은 개인 정보 및 메모리 문제 때문에 현실 상황에서 흔히 발생한다. 소스 데이터의 가용성 외에도 테스트 환경은 온라인 방식으로, 즉 테스트 데이터에 대한 실시간 적응을 요구한다. 이처럼, 테스트 시간에서의 적응은 훈련된 소스 모델이 테스트 중에 요구되는 대상 데이터에 대하여 예측력을 높이고자 한다. 기존 접근 방식은 현재 배치에서 개별 목적식을 평균화하여 온라인으로 모델 매개변수를 업데이트 한다. 그러나 이처럼 평균화된 업데이트는 배치 내의 일부 데이터만에 의존하여 모델 업데이트 중에 개별 목표 간의 갈등을 초래할 수 있다. 따라서 본 연구에서는 테스트 시간에서의 적응 문제에서 상충되는 업데이트 방향성을 부정적 전이의 요인으로 식별하고 현재 배치의 모든 개별 목적에 걸쳐 모델 매개변수를 파레토 최적화 하는 방향으로 업데이트하기 위한 방법을 제안한다. 특히 파레토 최적화에 예리도 최소화를 병합하여 테스트 시간 동안 예상치 못한 분포 변화에 대비하는 확장된 파레토 최적화를 제안한다.
요약하면, 본 학위논문에서는 개방형 도메인 적응 및 테스트 상황에서의 적응 시나리오에 중점을 두어 이러한 상황에서 부정적 전이를 야기하는 요소를 식별하고 이를 완화하기 위한 특징 정렬 방법을 제안한다. 다양한 실험을 통해 특징 정렬이 부정적 전이를 완화함으로써 도메인 적응에서 성능을 향상시키는 것을 입증한다.
