Deep self-training approach has provided a powerful solution to the domain adaptation. The self-training scheme includes repetitive processing of target data; it generates target pseudo labels and finetunes the model with them. Since generating target pseudo labels accompany indisputable noises, existing self-training approaches normally relies on hard threshold strategy which is able to cut outnoises. However, Fixing the threshold with specific hyper-parameters inevitably produces sparse pseudo labels in practice. It is regarded as critical issue due to the fact that the insufficient training-signals from sparse pseudo labels lead to a sub-optimal, error-prone model. In this thesis, we propose method and analysis of how to soften the hard threshold, which ends upto scale the labels for effective learning in self-training based domain adaptation. Under the same goal, we assume that two different settings in domain adaptation could exist. 1) No label exists in the targetdomain. 2) Very few labels exist in the target domain. In order to tackle the problem in the first assumption, we propose a Two-phase Pseudo LabelDensification framework, referred to as TPLD. It aims to scale the initial pseudo labels via image-leveland batch-level densification method in an unsupervised manner. In particular, in the first phase, the first step uses sliding-window voting to exploit spatial correlations inherent in the image to propagate confident predictions. The second step is to perform confidence-based easy hard classification. For easy samples, now use full pseudo labels. In hard cases, we instead adopt adversarial learning to implement feature alignment. To ease the training process and avoid noisy predictions, we combine the bootstrapping mechanism with the original self-training loss. We show that the proposed TPLD can be easy integrated into existing self-training-based approaches and can significantly improve the performance. For the second assumption, our motivation starts from how to utilize very few labels for scaling the initial pseudo labels to boost up the performance. Therefore, we come to the idea that actively and adaptively utilizing small number of pixel-labels to effectively scale the pseudo-labels is critical. We propose Active label Densification via Temporal Ensembled Self-Training (Active TEST). Uncertaintymeasure that is essential to capture where to labels actively is designed via temporal ensembled manner. To adaptively and effectively scale the labels, we provide the initial class-wise threshold as class prior information to uncertainty measure. we show that it not only outperforms the previous state of the artUDA methods but also achieves the performance which is fairly close to the supervised one.
심층 자가 훈련 접근 방식은 도메인 적응에 대한 강력한 솔루션을 제공했습니다. 자가 훈련 계획에는 대상 데이터의 반복적인 처리가 포함됩니다. 대상 수도 레이블을 생성하고이를 사용하여 모델을 미세 조정합니다. 대상 수도 라벨을 생성하는 것은 명백한 잡음을 동반하기 때문에 기존의 자가 훈련 방식은 일반적으로 잡음을 줄일 수있는 하드 임계 값 전략에 의존합니다. 그러나 특정 하이퍼 매개 변수로 임계 값을 고정하면 실제로는 희소한 유사 레이블이 생성됩니다. 희소 수도 레이블의 불충분한 훈련 신호로 인해 차선의 오류가 발생하기 쉬운 모델이 생성되기 때문에 이는 중요한 문제로 간주됩니다. 이 논문에서 우리는 자기 훈련 기반 도메인 적응에서 효과적인 학습을 위해 레이블을 확장하는 하드 임계 값을 부드럽게하는 방법에 대한 방법과 분석을 제안합니다. 동일한 목표에서 도메인 적응에 두 가지 다른 설정이 있을 수 있다고 가정합니다. 1) 대상 도메인에 레이블이 없습니다. 2) 대상 도메인에 레이블이 거의 없습니다. 첫 번째 가정의 문제를 해결하기 위해 TPLD라고하는 2단계의 수도라벨 밀도화 프레임 워크를 제안합니다. 그것은 감독되지 않은 방식으로 이미지 수준 및 배치 수준의 고밀도화 방법을 통해 초기 의사 레이블을 확장하는 것을 목표로합니다. 특히, 첫 번째 단계에서 첫 번째 단계는 슬라이딩 윈도우 투표를 사용하여 이미지에 내재 된 공간적 상관 관계를 활용하여 자신감있는 예측을 전파합니다. 두 번째 단계는 신뢰 기반 쉬운 하드 분류를 수행하는 것입니다. 쉬운 샘플을 위해 이제 완전한 수도 레이블을 사용합니다. 어려운 경우에는 대신 적대적 학습을 채택하여 기능 정렬을 구현합니다. 훈련 과정을 용이하게하고 노이즈가 많은 예측을 피하기 위해 부트 스트래핑 메커니즘을 원래의자가 훈련 손실과 결합합니다. 제안 된 TPLD가 기존의 자가 훈련 기반 접근 방식에 쉽게 통합 될 수 있으며 성능을 크게 향상시킬 수 있음을 보여줍니다. 두 번째 가정의 경우 성능을 높이기 위해 초기 의사 레이블을 확장하는 데 매우 적은 레이블을 사용하는 방법에서 시작합니다. 따라서 우리는 수도 레이블을 효과적으로 확장하기 위해 적은 수의 픽셀 레이블을 적극적이고 적응적으로 활용하는 것이 중요하다는 생각에 도달했습니다. 우리는 템포럴 앙상블 방식의 자가학습 (Active TEST)을 통한 엑티브 라벨 밀도화르 제안합니다. 라벨링 위치를 능동적으로 포착하는 데 필수적인 불확실성 측정은 시간적 앙상블 방식을 통해 설계됩니다. 라벨을 적응적이고 효과적으로 확장하기 위해 불확실성 측정에 대한 클래스 사전 정보로 초기 클래스 별 임계 값을 제공합니다. 우리는 그것이 이전의 기존 방법을 능가 할뿐만 아니라 감독 된 방법에 상당히 가까운 성능을 달성한다는 것을 보여줍니다.