마비말장애 중증도 평가에서의 특성 기여 기반 XAI 정확도 검증
Validation of Attribution-Based XAI Accuracy for Dysarthria Severity Assessment
- 주제어 (키워드) 설명 가능한 인공지능 , 마비 말장애 중증도 평가 , Shapley Additive exPlanations , Integrated Gradient , Explainable Artificial Intelligence , Shapley Additive exPlanations , Integrated Gradient Dysarthria Severity Assessment
- 발행기관 서강대학교 일반대학원
- 지도교수 김지환
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 실제 URI http://www.dcollection.net/handler/sogang/000000079713
- UCI I804:11029-000000079713
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
설명가능한 인공지능(eXplainable Artificial Intelligence, XAI)은 의료 및 금융과 같은 고위험 분야에서 필수적이며, XAI가 제공하는 정보의 신뢰성을 검증하는 것은 매우 중요 하다. XAI 기법에는 특성 기여 기반 설명, 모델 기반 설명, 사례 기반 설명이 있으며, 이를 평가하는 방법으로는 기능 기반 평가, 인간 기반 평가, 응용 기반 평가가 있다. 그러나 모델 기반 설명과 사례 기반 설명은 예측 성능 저하와 데이터 품질에 따른 설명 유용성의 변동이라는 한계가 있으며, 기능 기반 평가와 인간 기반 평가는 실제 사례에서의 설명 유용성을 검증하기에 부족한 측면이 있다. 본 연구에서는 마비말장애 중증도 평가라는 의료 응용 분야에서 응용 기반 평가를 통해 특성 기여 기반 설명의 유용성과 신뢰성을 검증하였다. 마비말장애는 말운동장애 (motor speech disorder)의 한 유형으로, 정확한 중증도 평가와 평가 요인 파악이 치료에 중요한 역할을 한다. 본 연구에서는 조음교대운동(Diadochokinesis, DDK) 과제를 활용 하여, 스펙트로그램, 음성 표현 벡터, DDK 기반 특성 등 다중 음향 특징을 융합한 모델로 중증도를 평가하였으며, 테스트셋에서 89.29%의 정확도를 기록하였다. 또한, SHAP와 Integrated Gradients 알고리즘을 적용해 중증 클래스로 분류에 기여한 각 특성의 중요도를 분석하였다. 이를 기반으로 특성을 ‘우수’, ‘보통’, ‘개선’ 영역으로 분류하고, 해당 결과를 전문가 평가와 비교하였다. 전문가 3인의 평가와 XAI 기반 설명이 일치하는 경우, SHAP와 Integrated Gradients를 활용한 설명은 각각 평균 0.74와 0.79의 정확도를 보였으며, 이는 단순히 특성 값만 사용했을 때의 정확도(0.68)보다 각각 0.06, 0.11 높은 성능이다. 이러한 결과는 SHAP와 Integrated Gradient 기반 특성 기여 설명이 임상 환경에서 유용하며, 실제 활용 가능성을 보여준다.
more초록 (요약문)
Explainable Artificial Intelligence (XAI) is essential in high-stakes domains such as healthcare and finance, where validating the reliability of the information provided by XAI is critical. XAI methods include attribution-based explanations, model-based explanations, and example-based explanations, which can be evaluated through function-based evaluation, human-based evaluation, and application-based evaluation. However, model-based and example-based explanations face limitations such as decreased predictive performance and variability in the usefulness of explanations due to data quality. Additionally, function-based and human-based evaluations are often insufficient for verifying the utility of explanations in real-world scenarios. This study aims to validate the utility and reliability of attribution-based explanations through application-based evaluation in the medical domain of dysarthria severity assessment. Dysarthria, a type of motor speech disorder, requires accurate severity evaluation and identification of contributing factors for effective treatment. Using the Diadochokinesis (DDK) task, this study evaluated dysarthria severity by integrating multiple acoustic features, including spectrograms, speech representation vectors, and DDK-based features, into the model. The model achieved an accuracy of 89.29% on the test set. Furthermore, SHAP and Integrated Gradients algorithms were applied to analyze the importance of each feature contributing to the classification of severe cases. Based on this analysis, features were classified as Optimal, Acceptable, or Suboptimal, and the results were compared with expert evaluations. When the XAI-based explanations aligned with the assessments of three experts, the explanations using SHAP and Integrated Gradients achieved average accuracies of 0.74 and 0.79, respectively. These values surpassed the accuracy of 0.68 obtained using only raw feature values, with the absolute improvements of 0.06 and 0.11, respectively. These findings demonstrate that SHAP and Integrated Gradient based attribution explanations are effective and highlight their potential for practical use in clinical settings.
more목차
제 1 장 서론 1
1.1 설명 가능한 인공지능 1
1.2 설명 가능한 인공지능의 평가지표 2
1.3 마비말장애 3
1.4 조음교대운동 7
1.5 마비말장애 중증도 평가 모델의 특성 기여 기반 설명 정확도 평가 10
1.6 논문 구성 11
제 2 장 관련 연구 13
2.1 XAI를 활용한 특성 기여 기반 설명 13
2.1.1 Shapley Additive exPlanations 13
2.1.2 Integrated Gradient 14
2.2 XAI를 활용한 특성 기여 기반 설명 평가 연구 14
2.3 조음교대운동 자동 분석 16
2.4 조음교대운동에서의 마비말장애 중증도 자동 평가 17
2.5 마비말장애 중증도 자동 평가에서의 설명 가능성 18
제 3 장 설명 가능한 인공지능을 활용한 마비말장애 중증도 자동 평가 모델의 특성 기여 기반 설명 정확도 평가 19
3.1 DDK 과제를 활용한 마비말장애 중증도 평가 모델 19
3.1.1 조음교대운동 자동 분석 20
3.1.2 마비말장애 중증도 평가 22
3.2 마비말장애 중증도 자동 평가 모델의 특성 기여 기반 설명 정확도 평가 24
3.2.1 마비말장애 중증도 평가 모델의 설명 가능성 24
3.2.2 마비말장애 중증도 평가 모델의 설명 가능성 평가 26
제 4 장 실험 28
4.1 데이터셋 28
4.2 평가지표 29
4.2.1 음절 발음 구간 검출 29
4.2.2 말명료도 예측 및 마비말장애 중증도 평가 30
4.2.3 전문가 평가 간 일치도 평가 31
4.2.4 특성 기여 기반 설명 평가 32
4.3 마비말장애 중증도 평가 33
4.3.1 LSTM 기반 음절 발음 구간 검출 모델 33
4.3.2 CNN 기반 말명료도 예측 모델 34
4.3.3 마비말장애 중증도 평가 모델 36
4.4 마비말장애 중증도 자동 평가 모델의 특성 기여 기반 설명 정확도 평가 40
4.4.1 전문가 평가 간의 일치도 40
4.4.2 특성 기여 기반 설명과 전문가 평가간의 정확도 41
제 5 장 결론 44
참고문헌 46
