Dual-Perspective Pseudo Labeling with Uncertainty-Aware Training for Source-Free Domain Adaptation
소스 프리 도메인 적응을 위한 이중 관점 의사 라벨링과 불확실성 인식 학습
- 주제(키워드) Source-Free Domain Adaptation , Pseudo Labeling , Vision-Language Models , CLIP , Uncertainty-Aware Learning , Mutual Information
- 발행기관 서강대학교 일반대학원
- 지도교수 조성인
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000083370
- UCI I804:11029-000000083370
- 본문언어 영어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
소스 프리 도메인 적응（Source-Free Domain Adaptation, SFDA）은 라벨이 있는 소스 데이터를 사용하지 않고, 사전 학습된 소스 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 한다. 자기지도 학습 환경에서 타깃 도메인 샘플에 대한 의사 라벨을 활용하는 것은 강한 supervision을 제공함으로써 도메인 적응 성능을 향상시킨다. 그러나 이러한 접근법의 핵심적인 문제는 사전 학습된 소스 모델이 타깃 도메인에서 본질적으로 불안정하다는점이며,이는 타깃 도메인 데이터에 대해 신뢰하기 어려운 의사 라벨을 생성하게 한다. 이를 해결하기 위해 본 논문에서는 task-specific perspective와 domain-invariant perspective를 함께 활용하는 새로운 이중 관점 의사 라벨링 전략을 제안한다.구체적으로,타깃 모델의 예측과 CLIP의 예측이 일치하는 타깃샘플에 대해서만 의사 라벨을 부여한다. 또한 noisy supervision을 도입하지 않으면서 표현 학습을 더욱 향상시키기 위해, 불확실한 샘플에는 consistency training을 적용한다. 추가적으로, 본 논문에서는 모델의 적응 불확실성에 따라 entropy sensitivity를 동적으로 조절하는 Uncertainty-based Adaptation Index（UAI）에 기반한 Tsallis mutual information（TMI）기반 vision optimization 전략을 제안한다. UAI 기반 학습 패러다임은 최적화 과정에서 exploration과 exploitation 과정을 효과적으로 균형 있게 조절함으로써 안정적이고 적응적인 도메인 정렬을 가능하게 한다. 제안 방법은 도메인 적응 벤치마크 데이터셋에서 state-of-the-art 성능을 달성했으며, 평균 2.0%의 적응 정확도 향상을 보임으로써 그 효과성을 입증했다.
more초록(요약문)
Source-free domain adaptation（SFDA） aims to adapt a pre-trained source model to an unlabeled target domain without requiring labeled source data. In a self-supervised setting, relying on pseudo labels on target domain samples facilitates the domain adaptation performance providing strong supervision. However, a critical problem of this approach is the inherent instability of the pre-trained source model in the target domain, leading to unreliable pseudo labels for the target domain data. To tackle this, we propose a novel Dual-perspective pseudo labeling strategy that jointly lever- ages a task-specific perspective and a domain-invariant perspective, assigning pseudo labels only to target samples on which the target model’s predictions and CLIP’s predictions agree. To further enhance representation learning without introducing noisy supervision, we apply consistency training to uncertain samples. Additionally, we introduce a Tsallis mutual information（TMI）-based vision optimization strategy guided by an Uncertainty-based adaptation index（UAI）, which dynamically modulates entropy sensitivity based on the model’s adaptation uncertainty. The UAI-based training paradigm enables stable and adaptive domain alignment by effectively balancing exploration and exploitation processes during the optimization process. Our proposed method achieves state-of-the-art performance on domain adaptation bench- mark datasets, improving adaptation accuracy by 1.6% on Office-Home, 1.4% on VisDA-C, and 2.9% on DomainNet-126, demonstrating its effectiveness in SFDA.
more목차
List of Figures iv
List of Tables vi
초록 viii
Abstract ix
I Introduction 1
II Related Work 7
2.1 Consistency training 7
2.2 Tsallis entropy 7
III Proposed Method 9
3.1 Cycle-level process 10
3.1.1 Calibrated pseudo label generation （CPG） 10
3.1.1.1 Prediction mixture 10
3.1.1.2 Dual-perspective pseudo labeling 11
3.1.2 Dynamic entropy-guided vision optimization （DVO） . 12
3.1.2.1 Uncertainty-based adaptation index 12
3.1.2.2 Tsallis mutual information （TMI） 13
3.1.2.3 CLIP vision encoder optimization 14
3.2 Iteration-level process 15
3.2.1 Pseudo label matching framework （PLMatch） 15
3.2.1.1 Pseudo supervision 15
3.2.1.2 Consistency training 15
3.2.1.3 CLIP-guided knowledge distillation 16
3.2.1.4 Target model training 16
IV Experimental Results 17
4.1 Datasets 17
4.2 Implementation details 17
4.3 Main results 18
4.4 Contribution of investigated components 19
4.5 Variations depending on the loss weighting 21
4.6 Effectiveness of CLIP for target model training 21
4.7 Comparison between Tsallis mutual information （TMI） and mutual information （MI） 22
4.8 Analysis of Tsallis mutual information 23
4.9 Analysis of Pseudo label matching framework 25
V Limitation 27
VI Conclusion 27
VII Appendix 29
7.1 Implementation detail of toy example 29
7.2 Effect of entropy index q on Tsallis entropy 31
7.3 Calculation of joint probabilities 32
7.4 Feature distribution analysis 33
7.5 Confusion matrix comparison 33
Bibliography 35
