Despite recent advances in deep learning, deep neural networks often suffer from performance degradation when the train and test domains differ significantly. Among several tasks addressing such domain shifts, Test-time adaptation (TTA) has attracted significant attention due to its practical properties, which enable the adaptation of a pre-trained model to a new domain with only unlabeled target dataset during the inference stage.
Prior works on TTA assume that the target dataset comes from the same distribution, and model adaptation is performed for a short period. However, TTA may be carried out under two conditions that may arise in reality: (1) the target domain contains multiple subdomains (\ie, compound domain (CD)) that are sufficiently distinctive from each other, or (2) long-term adaptation to continually changing domains is performed in edge devices that are memory constrained. In this thesis, we present methods and analysis to solve the problems that may occur in each of the above two conditions.
To tackle the problem in the first condition, we assume that the compound domain might occur cyclically, such as repeated driving environments over time (\eg, daytime, twilight, and night). One naive approach is to perform domain-specific adaptation, where several models are constructed, and only test images from similar domains are used for each model adaptation. However, such a domain-specific TTA may not be feasible under the scenario that the model can not access domain labels. Hence, we propose an online clustering algorithm that allow the model to obtain pseudo-domain label and accumulate knowledge of cyclic domains. Moreover, we attempt to boost its performance with adaptation loss denoising by considering the test image-wise similarity with the source distribution. To do so, we achieve reliable adaptation performance under compound and cyclical domains.
For the second condition, we present an effective and efficient approach that improves adaptation performance in continually changing target domains. We introduce novel back-to-the source regularization that helps our newly proposed meta networks regularized by the protected source knowledge distilled from frozen original networks. With negligible computational overhead, this regularization prevents error accumulation and catastrophic forgetting, resulting in stable performance even in long-term test-time adaptation. Moreover, to help TTA to be implemented in edge devices, we further present adaptive meta networks which allow original networks not to store large sizes of activation required for backpropagation, which enables our approach to perform memory efficiently. We demonstrate that our strategy outperforms other state-of-the-art methods on various benchmarks for image classification and semantic segmentation tasks.
최근 딥 러닝의 발전에도 불구하고 딥 뉴럴 네트워크는 훈련 및 테스트 도메인이 크게 다를 때 종종 성능 저하를 겪습니다. 이러한 도메인 이동을 다루는 여러 작업 중 테스트 시간 적응(TTA)은 추론 단계에서 레이블이 지정되지 않은 대상 데이터 세트만 있는 새로운 도메인에 사전 훈련된 모델을 적응시킬 수 있는 실용적인 속성으로 인해 상당한 관심을 끌었습니다.
TTA에 대한 이전 연구에서는 대상 데이터 세트가 동일한 분포에서 온 것으로 가정하고 짧은 기간 동안 모델 적응이 수행됩니다. 그러나 실제로 발생할 수 있는 두 가지 조건에서 TTA를 수행할 수 있다. 지속적으로 변화하는 도메인에 대한 적응은 메모리가 제한된 에지 장치에서 수행됩니다. 본 논문에서는 위의 두 가지 조건에서 각각 발생할 수 있는 문제를 해결하기 위한 방법과 분석을 제시한다.
첫 번째 조건의 문제를 해결하기 위해 시간이 지남에 따라 반복되는 운전 환경(예: 주간, 황혼 및 야간)과 같이 복합 도메인이 주기적으로 발생할 수 있다고 가정합니다. 순진한 접근 방식 중 하나는 여러 모델이 구성되고 각 모델 적응에 대해 유사한 도메인의 테스트 이미지만 사용되는 도메인별 적응을 수행하는 것입니다. 그러나 모델이 도메인 레이블에 액세스할 수 없는 시나리오에서는 이러한 도메인 특정 TTA가 실현 가능하지 않을 수 있습니다. 따라서 모델이 의사 도메인 레이블을 얻고 순환 도메인에 대한 지식을 축적할 수 있도록 하는 온라인 클러스터링 알고리즘을 제안합니다. 또한 소스 분포와의 테스트 이미지 유사성을 고려하여 적응 손실 노이즈 제거로 성능을 향상시키려고 시도합니다. 이를 위해 복합 및 순환 도메인에서 안정적인 적응 성능을 달성합니다.
두 번째 조건에 대해 지속적으로 변화하는 대상 영역에서 적응 성능을 향상시키는 효과적이고 효율적인 접근 방식을 제시합니다. 고정된 원본 네트워크에서 추출한 보호된 소스 지식에 의해 정규화되는 새로 제안된 메타 네트워크를 돕는 새로운 원본 역방향 정규화를 소개합니다. 무시할 수 있는 계산 오버헤드로 이 정규화는 오류 누적 및 치명적인 망각을 방지하여 장기간의 테스트 시간 적응에서도 안정적인 성능을 제공합니다. 또한 에지 장치에서 TTA를 구현할 수 있도록 원래 네트워크가 역전파에 필요한 많은 크기의 활성화를 저장하지 않도록 하는 적응형 메타 네트워크를 추가로 제시하여 메모리를 효율적으로 수행할 수 있도록 합니다. 우리는 우리의 전략이 이미지 분류 및 시맨틱 분할 작업에 대한 다양한 벤치마크에서 다른 최첨단 방법보다 성능이 우수함을 입증합니다.
