소스 도메인 민감도 기반 차등 LoRA 적응을 통한 도메인 일반화 의미론적 분할
Sensitivity-Guided Differential LoRA Adaptation for Domain Generalized Semantic Segmentation
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 조성인
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 AI.SW대학원 데이터사이언스 · 인공지능
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000083131
- UCI I804:11029-000000083131
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
도메인 일반화 의미론적 분할（Domain Generalized Semantic Segmentation, DGSS）은 학습 시 접근할 수 없는 target 도메인에서 강건한 분할 성능을 달성하는 것을 목표로 한다. 최근 DINOv2와 같은 대규모 비전 기반 모델 （VFM）을 backbone으로 활용하는 접근이 우수한 성능을 보이며, 사전학습된 표현을 보존하면서 source 도메인에 적응시키기 위해 LoRA 등의 Parameter-Efficient Fine-Tuning （PEFT） 기법이 널리 사용되고 있다. 그러나 기존의 대표적인 PEFT 기반 DGSS 접근들은 backbone 내부 module에 동일한 적응 강도를 적용하거나, SVD 성분 및 block 위치와 같은 간접적 prior에 의존하는 경우가 많아, source domain에서 관찰되는 module별 기능적 역할 차이를 직접 반영하는 데에는 한계가 있다. 본 연구는 이러한 한계를 해결하기 위해 SGDA （Sensitivity-Guided Differential Adaptation）를 제안한다. SGDA는 source 도메인에서 backbone 내부 각 module의 weight에 소규모 perturbation을 적용하고, 분할 성능의 변화를 관찰하여 module별 기능적 민감도를 직접 측정한다. 측정된 민감도에 따라 module을 보존（preserve）, 약한 조정（refine）, 적극적 학습（adapt）의 세 구간으로 분류하고, 각 구간에 서로 다른 LoRA rank를 부여하여 적응 강도를 차등 배정한다. 이 전체 과정에서 target 도메인 데이터는 사용하지 않는다. GTAV → Cityscapes / BDD100K / Mapillary 벤치마크에서의 실험 결과, SGDA는 동일한 source training protocol 하에서 일반 LoRA 및 SoMA baseline 대비 평균 target mIoU를 개선하였다. 소거 실험을 통해 충분한 학습 용량의 필요성, 보존 구간에서의 제한적 조정 허용의 효과, source-heldout 성능과 target 일반화 간의 비단조적 관계를 확인하였다. 본 연구는 source 도메인에서 관찰한 module별 기능 변화에 기반하여 module별 적응 강도를 결정하는 체계적 방법을 제시하고, 그 유효성을 실험적으로 검증한다.
more초록(요약문)
Domain Generalized Semantic Segmentation （DGSS） aims to achieve robust segmentation performance on unseen target domains without access to target data during training. Recent approaches leveraging large-scale Vision Foundation Models （VFMs） such as DINOv2 as backbones have demonstrated strong performance, with Parameter-Efficient Fine-Tuning （PEFT） methods like LoRA widely adopted to adapt pre-trained representations to the source domain. However, existing PEFT methods apply uniform adaptation capacity across all backbone modules or rely on indirect priors such as block position, failing to account for the functional role differences among individual modules. To address this limitation, we propose SGDA （Sensitivity-Guided Differential Adaptation）. SGDA measures the functional sensitivity of each backbone module by applying small-scale weight perturbations and observing changes in segmentation performance on the source domain. Based on the measured sensitivity, modules are classified into three tiers—preserve, refine, and adapt—and assigned differential LoRA ranks accordingly, where more sensitive modules receive lower adaptation capacity. The entire process operates exclusively on source domain data without any access to target domain information. Experiments on the GTAV → Cityscapes / BDD100K / Mapillary benchmarks demonstrate that SGDA improves the average target mIoU over Plain LoRA and SoMA baselines under an identical source training protocol. Ablation studies reveal that sufficient adaptation capacity is a prerequisite for differential adaptation to be effective, that allowing minimal adaptation in the preserve tier outperforms complete freezing, and that higher source-heldout performance does not necessarily translate to better target generalization. This work presents a principled approach to determining module-wise adaptation intensity based on functional evidence from the source domain, and experimentally validates its effectiveness for domain generalized semantic segmentation.
more목차
제 1 장 서 론 1
제 1 절 연구 배경 1
제 2 절 연구 목적 및 기여 3
제 3 절 논문 구성 4
제 2 장 이론적 배경 및 관련 연구 6
제 1 절 도메인 일반화 의미론적 분할 6
제 2 절 Vision Foundation Model 기반 적응 기법 8
제 3 절 민감도 및 중요도 기반 적응 기법 10
제 4 절 기존 연구의 한계 및 본 연구의 차별점 13
제 3 장 제안 방법 15
제 1 절 문제 정의 15
제 2 절 전체 프레임워크 개요 16
제 3 절 Perturbation 기반 모듈별 민감도 측정 18
제 4 절 민감도 기반 3구간 분류 23
제 5 절 구간별 차등 LoRA 적응 전략 26
제 6 절 학습 목적 함수 28
제 4 장 실 험 30
제 1 절 실험 환경 30
제 2 절 기존 방법과의 비교 실험 32
제 3 절 소거 실험 34
제 4 절 추가 분석 42
제 5 장 결 론 48
제 1 절 연구 요약 48
제 2 절 한계점 및 향후 연구 49
참고 문헌 52
