UniCoRE: Joint-Softmax Routing of Core-Correction LoRA Experts for Robust Multi-domain ASR Adaptation
- 주제(키워드) Speech Recognition , Domain Adaptation , Parameter-efficient fine-tuning , 음성 인식 , 도메인 적응 , 매개변수 효율적 미세 조정
- 발행기관 서강대학교 일반대학원
- 지도교수 박형민
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000083282
- UCI I804:11029-000000083282
- 본문언어 영어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
실제 배포 환경의 자동 음성 인식 시스템（ASR）은 다양한 화자와 발화 조건을 처리해야 하지만, 메모리와 지연 시간의 제약으로 인해 적응 모듈의 크기와 업데이트 비용을 무작정 늘리기 어렵다. 또한 다중 도메인 환경에서는 전체 테스트셋에 대한 평균 WER만으로 모델의 성능을 평가할 경우 특정 하위 집단에서 발생하는 성능 저하가 가려질 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Low-Rank Adaptation 기반 expert mixture인 UniCoRE를 제안한다. UniCoRE는 항상 활성화되는 core expert와 입력에 따라 선택적으로 기여하는 correction expert들을 joint-softmax를 통해 함께 라우팅한다. 이를 바탕으로 안정적인 기본 적응 경로를 유지하면서, 입력 특성에 따라 필요한 보정 업데이트를 제한된 크기로 더하는 Correction-Additive Fusion을 사용한다. 또한 일부 layer에는 Residual-Guided Retrieval Fusion을 적용하여 core와 correction expert 사이의 상호작용을 더욱 정교하게 모델링한다. UniCoRE는 별도의 모듈 사전학습이나 도메인 메타라벨, 단계적 학습 과정 없이 단일 end-to-end 학습으로 최적화된다. 실험 결과, UniCoRE 는 세분화된 평가 벤치마크의 모든 하위 집단에서 WER을 개선했으며, full fine-tuning 대비 하위집단 평균 기준 18.1%의 상대적 감소를 달성했다. 또한 zero-shot accent setting에서는 최근 baseline보다 약 2.5배 큰 WER 개선 효과를 보였다.
more초록(요약문)
In real-world deployments, automatic speech recognition systems must handle diverse speakers and speaking conditions under strict memory and latency constraints, which limit the size and update cost of adaptation modules. In multi-domain settings, average Word Error Rate （WER） on a single test set can also mask performance degradations in specific subgroups. We propose UniCoRE, a mixture of Low-Rank Adaptation experts for robust multi-domain ASR adaptation. UniCoRE jointly routes an always on core expert and input conditioned correction experts using a joint-softmax distribution. It uses Correction-Additive Fusion to maintain a stable core adaptation path while adding bounded input-dependent corrections, and applies Residual-Guided Retrieval Fusion in a subset of layers to capture richer core–correction interactions. UniCoRE is trained end-to-end in a single pass, without separately trained modules, domain meta-labels, or staged optimization. It reduces WER across all evaluated subgroups on a fine grained benchmark, achieving a subgroup averaged 18.1% relative WER reduction over full fine-tuning. In a zero-shot accent setting, UniCoRE further achieves about 2.5 times larger relative WER reduction than a recent baseline.
more목차
List of Figures iii
List of Tables iv
초록 v
Abstract vi
I Introduction 1
II Related Works 5
2.1 Mixture-of-Experts 5
2.2 Low-Rank Adaptation 5
III Method 7
3.1 Mixture-of-LoRA-Experts 7
3.2 Joint-softmax Routing with Core and Correction Experts 8
3.3 Correction-additive Fusion 9
3.4 Residual-guided Retrieval Fusion 10
3.5 Mass-aware CGJS for Joint-softmax Routing 11
IV Experiments 12
4.1 Datasets 12
4.2 Experiment Setup 13
4.3 Baselines 14
V Results and Discussion 15
5.1 Overall Performance and Impact of UniCoRE Design 15
5.2 Comparison with MAS-LoRA on L2-ARCTIC 16
5.2.1 Seen-accent Evaluation 17
5.2.2 Zero-shot Accent Generalization 18
5.3 Multi-domain Robustness Across Fair-Speech Subgroups 20
5.4 Ablation and Analysis 21
5.4.1 Comparison of Routing Strategies 21
5.4.2 Correction Scaling Analysis 22
5.4.3 RGRF Component Analysis 24
VI Conclusion 26
Reference 27
Appendix 33
A Layer Placement under UniCoRE Pruning 33
B Varying the Number of Experts 34
C Number of RGRF-Applied Layers 35
