검색 상세

Training-Free Calibration for Few-Shot Class-Incremental KWS: A Pareto Perspective

초록(요약문)

키워드 인식（Keyword Spotting, KWS）을 위한 클래스 연속 학습（Class-Incremental Learning, CIL）은 엣지 디바이스가 배포 이후에도 전체 음향 모델을 처음부터 재학습하지 않고 새로운 사용자 정의 키워드를 추가할 수 있게 하는 기술이다. 이러한 기능은 개인화 음성 인터페이스 구현에 중요하지만, 실제 온디바이스 환경에서는 개인정보 보호, 저장공간, 전력 소모의 제약으 로 인해 신규 키워드당 확보 가능한 발화 수가 매우 제한된다. 특히 키워드당 5개 이하의 발화만 주어지는 퓨샷 상황에서는 그라디언트 기반 미세조정이 지원 샘플의 우연적 노이즈에 과적합되 어 기존 클래스 성능을 훼손할 수 있고, 해석적 방법은 고차원 특징 통계의 랭크 부족으로 신규 클래스 가소성이 저하될 수 있다. 리허설 기반 연속 학습은 과거 발화 또는 로짓을 저장해야 하므로 프라이버시와 메모리 측면의 부담이 크다. 본 논문은 퓨샷 클래스 연속 키워드 인식（KWS-FSCIL） 문제를 역전파 없는 원형 보정 문 제로 정식화하고, Feature Centering with Power Normalization（FCPN）을 제안한다. FCPN은 기저 세션 이후 음향 특징 추출기를 동결한 뒤, 신규 키워드의 분류기 원형만을 갱신하는 단방향 보정（one-sided support-side calibration） 방식이다. Power Normalization은 극소수 발화에서 특정 특징 차원이 과도하게 활성화되어 원형 방향을 왜곡하는 burstiness를 완화하고, Feature Centering은 power-normalized공간에서계산한기저클래스중심을차감하여신규원형이기저 클래스 방향으로 편향되는 현상을 줄인다. 이 과정은 학습 가능한 파라미터, 역전파, 리플레이 버퍼, 행렬 역연산을 요구하지 않는다. Google Speech Commands V1/V2 데이터셋에서의 실험 결과, 점진적 세션에서 사용 가능 한 데이터 규모에 따라 적절한 갱신 전략이 달라짐을 확인하였다. 전체 데이터를 사용할 수 있는 경우에는 리허설 및 해석적 방법이 높은 성능을 보였으나, 5-shot 조건에서는 해석적 방법 （AnalyticKWS）이 기저 클래스 정확도는 96–98%로 유지하면서도 신규 클래스 정확도가 0–2% 에 머물러, 안정성은 높지만 가소성이 부족한 현상이 관찰되었다. 동일 조건에서 FCPN은 두 가지 백본 규모（BC-ResNet-2/8）와 두 가지 데이터셋（V1/V2） 조합의 네 가지 조건 중 세 가 지에서 단순 각인（CE+FI） 대비 기저 클래스 정확도와 신규 클래스 정확도의 조화평균（HM） 과 망각 지표（BWT）를 동시에 개선하는 파레토 우위를 달성하였으며, BWT는 네 가지 조건 전부에서 일관되게 개선되었다. 그라디언트 기반 기법（DE-KWS） 대비 HM을 22–32%p 높이면 서 업데이트 속도는 약 16배 빠르고 리플레이 버퍼를 사용하지 않는다. GSC V2 BC-ResNet-8 조건에서는 CE+FI 대비 HM이 1.20%p 낮아 보정 효과가 기저 특징 공간의 기하학적 구조에 의존함을 확인하였다. 이러한 결과는 FCPN이 역전파와 원본 음성 저장 없이도 온디바이스 퓨 샷 키워드 개인화에서 안정성–가소성 trade-off를 training-free calibration으로 조정하는 경량 prototype 기반 방법임을 보여준다.

more

초록(요약문)

Class-incremental learning for keyword spotting （KWS） enables an edge device to extend its keyword vocabulary after deployment without retraining the full acoustic model. This capa- bility is important for personalized voice interfaces, yet practical on-device settings impose tight constraints on privacy, storage, and energy, limiting each new keyword to only a hand- ful of enrollment utterances. In the resulting few-shot regime, gradient-based adaptation can overfit the small support set and degrade previously learned classes, analytic methods may suffer from rank deficiency in expanded feature statistics leading to poor novel-class plasticity, and rehearsal-based continual learning requires storing past speech samples or logits. This thesis formulates few-shot class-incremental keyword spotting （KWS-FSCIL） as a backpropagation-free prototype calibration problem and proposes Feature Centering with Power Normalization （FCPN）. FCPN freezes the acoustic encoder after the base session and applies one-sided support-side calibration that updates only the classifier prototypes of incoming keywords. Power normalization attenuates dimension-wise burstiness caused by out- lier activations in tiny support sets. Feature centering subtracts a base-class center computed in the same power-normalized space, thereby reducing the tendency of novel prototypes to remain biased toward dense base-class directions. The entire procedure requires no learnable parameters, no gradient computation, no replay buffer, and no matrix inversion. Experiments on Google Speech Commands V1 and V2 show that the preferred incremen- tal update strategy depends on the data regime. With full incremental data, rehearsal and analytic methods achieve high performance. Under the 5-shot protocol, however, the ana- lytic baseline （AnalyticKWS） maintains base-class accuracy of 96–98% yet yields near-zero novel-class accuracy, revealing high stability but insufficient plasticity. In the same setting, FCPN achieves Pareto dominance over plain Freeze ＆ Imprint （CE+FI）—simultaneously improving both the harmonic mean of base and novel accuracy （HM） and backward trans- fer （BWT）—in three out of four dataset–backbone conditions, while consistently improving BWT in all four. Compared with gradient-based DE-KWS, FCPN raises HM by 22–32 per- centage points under the same 5-shot protocol with approximately 16× faster updates and zero replay buffer. In one condition （GSC V2, BC-ResNet-8）, HM is 1.20 percentage points lower than CE+FI, indicating that the calibration effect depends on the geometry of the base feature space. These results position FCPN as a lightweight, privacy-preserving prototype calibration baseline whose primary strength is the training-free Pareto improvement of the stability–plasticity balance in on-device few-shot keyword personalization.

more

목차

감사의 글 i
Abstract ix
국문 초록 xi
제 1 장서론 1
제 1.1 절 연구의 배경 및 필요성 1
제 1.2 절 문제 제기 2
제 1.3 절 연구 목적 및 핵심 관점 3
제 1.4 절 연구의 기여 3
제 1.5 절 연구 범위 및 가정 4
제 1.6 절 논문의 구성 5
제 2 장관련 연구 6
제 2.1 절 엣지 디바이스를 위한 키워드 인식 6
제 2.2 절 연속 학습과 KWS에서의 적용 6
제 2.3 절 퓨샷 클래스 연속 학습 7
제 2.4 절 Prototype Imprinting과 Metric 기반 분류 8
제 2.5 절 Analytic Learning과 그 한계 8
제 2.6 절 KWS-FSCIL 선행 연구 비교 9
iii
제 2.7 절 본 연구의 위치 10
제 3 장연구 방법론 11
제 3.1 절 문제 정의 （Problem Formulation） 11
3.1.1 표기법 및 학습 시나리오 11
제 3.2 절 전체 프레임워크 12
제 3.3 절 기저 세션 학습과 코사인 분류기 13
제 3.4 절 무학습 기준선: 동결 및 각인 （Freeze ＆ Imprint） 14
제 3.5 절 Freeze ＆ Imprint의 기하학적 취약성 14
제 3.6 절 제안 방법: FCPN 15
3.6.1 Phase 1: Power Normalization （이상치 억제） 15
3.6.2 Phase 2: Base Feature Centering （기저 편향 차감） 16
3.6.3 Calibrated Prototype Imprinting 16
제 3.7 절 알고리즘 및 계산 복잡도 분석 17
제 4 장실험 결과 및 분석 19
제 4.1 절 실험 환경 및 평가 지표 19
4.1.1 데이터셋과 세션 구성 19
4.1.2 구현 설정 20
4.1.3 비교 방법론 21
4.1.4 평가 지표 21
제 4.2 절 5-Shot 핵심 결과 22
제 4.3 절 BaseAcc/NovelAcc 분리 분석 23
iv
제 4.4 절 CE+FI 대비 Pareto 분석 24
제 4.5 절 구성요소 절제 실험 25
제 4.6 절 임베딩 분리 및 Base Intrusion 분석 25
제 4.7 절 보조 실험의 해석 27
제 4.8 절 실험 결과의 종합 해석 29
제 5 장논의 30
제 5.1 절 FCPN의 정확한 위치 30
제 5.2 절 설계 선택의 의미 31
제 5.3 절 안정성–가소성 지표 해석 32
제 5.4 절 효율성 및 온디바이스 적합성 32
제 5.5 절 실제 배포 관점에서의 방법 선택 33
제 5.6 절 한계 및 향후 과제 34
제 6 장결론 36
참고문헌 38
v

more
반출 Meta View 목록