검색 상세

VITS 기반 음성 합성 모델의 선택적 양자화를 통한 음성 품질 저하 완화 연구 : 마지막 Convolution Layer의 FP32 유지를 통한 혼합 정밀도 적용

Mitigating Speech Quality Degradation in a VITS-Based Text-to Speech Model through Selective Quantization ; Mixed-Precision Application through FP32 Preservation of the Last Convolution Layer

  • 조재혁 (CHOJAEHYUK, 서강대학교 일반대학원)

초록(요약문)

본 연구는 VITS 기반 음성 합성 모델을 온디바이스 환경에서 구동할 때 나타나는 양자화 품질 저하 문제를 다룬다. INT8 양자화는 모델 크기와 추론 비용을 줄이는 데 효과적이지만, 파형을 직접 생성하는 디코더에 그대로 적용하면 출력 음성에 노이즈가 늘고 음질이 떨어진다. 이에 본 연구는 디코더를 INT8로 변환하되 출력에 직접 관여하는 마지막 컨벌루션 레이어（합성곱 계층（Convolution Layer））만 FP32로 남기는 선택적 양자화（Selective INT8）를 제안한다. 먼저 모듈별 연산량과 메모리 사용량을 측정하여 디코더가 전체 비용의 대부분을 차지함을 확인하고, 이를 양자화 대상으로 삼았다. 디코더는 ONNX Runtime의 캘리브레이션 기반 정적 사후 양자화로 INT8 변환하고, 마지막 컨벌루션 레이어（합성곱 계층（Convolution Layer））만 FP32로 유지하는 혼합 정밀도 구조를 구성하였다. 마지막 계층을 남기는 선택의 타당성을 검증하기 위해, FP32로 유지하는 계층의 위치를 입력단·중간·출력단으로 바꿔 가며 비교하였으며, 출력 계층을 남길 때에만 품질이 회복됨을 확인하였다. 라즈베리파이 5 환경에서 직접 측정한 결과, 디코더 전체를 양자화한 Full INT8 대비 제안 방식은 MCD와 Mel-spectrogram L2 distance를 약 7~10% 낮춰 음질을 회복하면서도, 추론 시간과 모델 크기는 Full INT8과 거의 동일하게 유지하였다. 마지막 한 계층만 FP32로 남기는 최소한의 변경으로 속도 손해 없이 품질을 되찾은 것이다. 이는 생성형 음성 합성에서 모든 계층을 동일하게 양자화하는 것이 항상 최선은 아니며, 계층별 민감도를 고려한 선택적 양자화가 온디바이스 음성 합성의 실용적 최적화 방법이 될 수 있음을 보인다.

more

초록(요약문)

This study addresses the speech quality degradation that arises when running VITS-based speech synthesis models in on-device environments. INT8 quantization is effective for reducing model size and inference cost, but applying it directly to the decoder, which generates the waveform, increases noise in the output speech and degrades its quality. To mitigate this, this study proposes selective quantization （Selective INT8）, which converts the decoder to INT8 while keeping only the final convolution layer—the layer directly responsible for the output—in FP32. The computational load and memory usage of each module are first measured, confirming that the decoder accounts for most of the total cost, and it is therefore chosen as the target for quantization. The decoder is converted to INT8 through ONNX Runtime calibration-based post-training static quantization, while the final convolution layer is kept in FP32, forming a mixed-precision structure. To verify the choice of retaining the final layer, the position of the FP32 layer was varied across the input, middle, and output stages and compared; quality was recovered only when the output layer was kept in FP32. Measurements taken directly on a Raspberry Pi 5 show that, compared with Full INT8 （in which the entire decoder is quantized）, the proposed method lowers MCD and Mel-spectrogram L2 distance by roughly 7–10%, recovering speech quality while keeping inference time and model size almost identical to Full INT8. In other words, quality was restored without any loss of speed through the minimal change of leaving only the final layer in FP32. These results indicate that uniformly quantizing every layer is not always optimal for generative speech synthesis, and that selective quantization based on layer-wise sensitivity can serve as a practical optimization method for on-device speech synthesis.

more

목차

제 1장. 서 론 1
1.1 연구 배경 1
1.2 온디바이스 음성 합성의 필요성 4
1.3 VITS 기반 음성 합성 모델 7
1.4 VITS 디코더와 파형 생성 구조 10
1.5 신경망 양자화 13
1.6 정적 사후 양자화와 캘리브레이션 17
1.7 양자화 오차와 음성 품질 저하 19
1.8 혼합 정밀도와 선택적 양자화 22
1.9 기존 연구의 한계 24
1.10 본 연구의 목적 및 기여 27
제 2장. 제안 방법 29
2.1 모델 분석 （Model Analysis） 31
2.2 선택적 양자화（Selective Quantization） 36
2.3 노이즈 완화（Noise Mitigation） 38
제 3장. 실험 40
3.1 실험 환경 41
3.2 데이터셋 44
3.3 모델비교 46
3.4 평가 지표 48
3.5 구현 세부 사항 50
제 4장. 실험 결과 53
4.1 Raspberry Pi 기반 온디바이스 검증 결과 54
4.1.1 추론 시간 및 메모리 변화량 54
4.1.2 입력 길이별 추론 시간 55
4.1.3 품질 평가 결과 56
4.1.4 입력 길이별 품질 평가 결과 58
4.2 Full INT8 와 Selective INT8 의 종합 비교 59
4.3 선택적 양자화（Selective Quantization）의 효과 62
4.4 단일 FP32 계층의 위치 비교 64
4.5 제 4 장 요약 66
제 5장. 논의 67
5.1 선택적 양자화（Selective Quantization） 결과에 대한 논의 67
5.2 온디바이스 검증 결과의 의미 69
5.3 연구의 한계 72
5.4 향후 연구 방향 73
제 6장. 결론 74
참고문헌 77

more
반출 Meta View 목록