ASR모델을위한음성프레임차분 기반사후학습양자화기법
Frame-Difference-Aware Post-Training Quantization for ASR Models
- 주제(키워드) 음성 인식 , 사후 학습 양자화 , Whisper , 헤시안 중요도 가중 , 저비트 양자화
- 발행기관 서강대학교 일반대학원
- 지도교수 소정민
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000083494
- UCI I804:11029-000000083494
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
자동 음성 인식（ASR） 파운데이션 모델의 엣지 배포가 확산되면서, 모델 크기와 메모리 대역폭제약을해소하기위한초저비트양자화의중요성이커지고있다. GPTQ와 AWQ같은 사후 학습 양자화（Post-Training Quantization, PTQ） 기법은 대규모 언어 모델을 효과적으로 압축하지만,이를 ASR에초저비트（2-3 bits）로적용할경우심각한전사품질저하가발생하 며종종무의미한환각（hallucination）루프에빠진다.우리는이러한실패가텍스트와음성의 모달리티격차에서비롯된다고본다.이산적인텍스트토큰과달리,음성활성값은정상상태 （steady-state） 구간과 영（zero） 패딩 구간에서는 높은 상관관계를 보이는 반면 음소 경계에서 는 급격히 변한다. 특히 입력을 30초 컨텍스트 윈도우로 강제 패딩하는 Whisper에서는 캘리 브레이션신호의상당부분이묵음과패딩으로채워지며,모든프레임이헤시안에동등하게 기여할 때 정적인 프레임이 캘리브레이션을 지배하면서 정보량이 풍부한 전이 구간이 가려 진다. 본 논문은 DiffAQ（차이 고려 양자화）를 제안한다. DiffAQ는 프레임 간 활성값 차이를 계산해 음향 변화율을 측정하고, 이에 비례하여 헤시안 중요도를 부여함으로써 음소적으로 결정적인프레임에양자화정밀도를집중시킨다. GPTQ에대한학습이필요없는수정안으로 추가계산부담이사실상없으며, base, small, medium세가지크기의Whisper와 LibriSpeech 및 FLEURS벤치마크전반에서WER을일관되게낮춘다.가장큰성능향상은 2-bit정밀도에 서나타나는데,예를들어Whisper Medium의 LibriSpeech test-other에서WER을 GPTQ대비 17.53%에서 12.93%로낮추며,기존기법이무의미한출력을생성하던조건에서도안정적인 전사를가능하게한다.
more목차
그림차례 ii
표차례 iii
1 서론 1
2 이론적배경 5
2.1 사후학습양자화와양자화인지학습 5
2.2 ASR과 LLM의입력특성차이 9
3 관련연구 12
3.1 활성값기반사후학습양자화 12
3.2 ASR모델양자화 15
3.3 음성을위한 PTQ의도전과제 15
4 제안방법:차이고려양자화 （DiffAQ） 16
4.1 프레임간시간차분 16
4.2 정규화된중요도가중치 17
4.3 양자화파이프라인 18
5 실험결과 18
5.1 데이터셋과평가지표 18
5.2 베이스라인과설정 20
5.3 초저비트전사정확도 20
6 논의 24
7 결론및향후연구 25
References 27
영문초록 31
