검색 상세

심각도 분류 시스템 성능 향상을 위한 마비말 장애 환자 음성에서의 쉼 탐지 모델링

Inappropriate Pause Detection in Dysarthric Speech for a Refined Severity Classification System

  • 이지현 (Jeehyun Lee, 서강대학교 일반대학원)

초록

뇌졸중으로 인한 구음 장애는 언어 명료도에 중대한 영향을 미치며, 신체적 건강뿐 아니라 심리적 상태에도 부정적 영향을 미친다. 환자의 언어 장애 정도에 따른 맞춤형 언어 치료를 제공하고 치료 예후를 분석하기 위해서는, 언어학적 기준에서 발화 산출을 평가할 필요가 있다. 그러나 기존의 임상 평가 방법은 주관적 특성으로 인한 신뢰성 문제를 내포하고 있다. 본 논문에서는 ASR (Automatic Speech Recognition) 시스템을 통해 문단 수준의 읽기 발화 태스크에서 이러한 문제를 보완하고자 한다. 대규모 ASR 모델을 활용한 시퀀스 투 시퀀스 구조를 통해 문장 내 쉼을 탐지하고, 이를 바탕으로 새로운 피처를 추출하여 마비말 장애의 심각도를 예측한다. 쉼 탐지 태스크의 경우, 음성 입력을 받아 쉼 구간 태그를 포함한 텍스트를 출력하는 방식으로 처리하였다. 그 결과, 음성과 텍스트의 정렬 (alignment) 없이도 기존의 쉼 구간 예측 베이스라인 대비 쉼을 더 잘 예측하는 것으로 나타났다. 심각도 분류 태스크의 경우, 기존의 원시 파형 (waveform) 기반 피처 추출 모듈뿐 아니라 제안된 쉼 예측 모델 기반 피처 추출 모듈을 추가하여 다양한 운율 정보를 활용하였다. 심각도 분류 실험 결과, 본 방법론은 원시 파형에서 특징을 추출한 다음 머신러닝 모델을 활용하는 방식과 스펙트로그램 기반 딥러닝 모델링 방식보다 우수한 심각도 예측 성능을 보였다. 이 시스템은 문단 읽기 태스크에서 쉼 예측을 수행하고, 이에 기반해 심각도 예측을 처리하여 임상병리사가 환자에게 맞춤형 언어 치료를 제공하는 것을 도울 수 있다.

more

목차

Chapter 1. 서론 1
1.1 뇌졸중으로 인한 마비말 장애의 영향과 특성 1
1.2 마비말 장애 환자 음성에서의 쉼 예측의 필요성 2
1.3 현재 심각도 분류 방식과 한계 3
1.4 Research Summary 3
Chapter 2. 관련 연구 5
2.1 쉼 탐지 방법론 5
2.1.1 Pause Detection 5
2.1.2 Phoneme Segmentation 6
2.2 심각도 평가 방법론 7
2.2.1 Perceptual Severity Evaluation 7
2.2.2 Automatic Severity Evaluation 7
Chapter 3. 마비말 장애 환자의 문장 읽기 음성에서의 부적절 쉼 예측 9
3.1 쉼 예측 태스크를 위한 쉼 구간 라벨링 9
3.1.1 쉼 구간 라벨링 10
3.1.2 마비말 장애 음성에서의 부적절한 쉼 라벨링 11
3.2 부적절한 쉼 예측 방법론 13
3.3 실험 및 평가 14
3.3.1 실험 환경 및 베이스라인 14
3.3.2 평가지표 15
3.3.3 실험 결과 분석 16
3.4 Summary 18
Chapter 4. 쉼 예측 모델을 이용한 향상된 심각도 분류 시스템 19
4.1 심각도 분류 시스템의 전체 구조 19
4.2 쉼 예측 모델 기반 피처 추출 모듈 20
4.2.1 발음 정확도 (Pronunciation Correctness) 피처 21
4.2.2 구조적 운율 (Structural Prosody) 정보 피처 22
4.3 원시 파형 기반 피처 추출 모듈 25
4.4 실험 및 평가 27
4.4.1 실험 환경 27
4.4.2 평가지표 28
4.4.3 베이스라인 28
4.4.4 실험 결과 분석 28
4.4.5 추가 분석 31
4.5 Summary 34
Chapter 5. 결론 35
Bibliography 36

more
반출 Meta View 목록