계층 딥러닝 기반 문맥정보 어텐션 메커니즘을 이용한 화행 분석 시스템
Hierarchical Deep Learning Based Speech Act Analysis System Using Context Information Attention Mechanism
- 주제(키워드) 화행 분석 , 어텐션 메커니즘 , 기계학습 , 딥러닝 , Speech Act , Dialogue Act , Attention mechanism , Machine Learning , Deep Learning
- 발행기관 서강대학교 일반대학원
- 지도교수 서정연
- 발행년도 2019
- 학위수여년월 2019. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000064306
- UCI I804:11029-000000064306
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
대화 시스템은 사용자 발화를 이해하고 그에 알맞은 피드백을 생성한다. 이 중 사용자 의도를 파악하기 위한 화행 분석은 대화 시스템의 필수적인 작업이다. 화행이란 발화 속 화자의 의도를 뜻하며 화행 분석은 발화에 대해 적절한 화행을 결정하는 것을 말한다. 기존에는 화행 분석을 위해 기계 학습 기법인 Support Vector Machine(SVM)가 주로 사용되었다. 하지만 기계 학습 모델의 경우 사람이 직접 의미 있는 자질(features)들을 가공하여 추출해야 한다. 반면 최근 많이 연구되는 딥러닝 기법은 데이터로부터 모델이 자동으로 자질들을 추출한다는 장점이 있다. 이러한 심층 학습 기법에는 Recurrent Neural Network(RNN)기반의 모델들이 주로 사용된다. 다음으로 딥러닝 기법에 많이 사용되고 있는 어텐션 메커니즘은 문장 내 같은 단어라도 문맥에 따라 중요도가 다름을 이용하는 방법이다. 이때 입력 값에 따른 가중치를 계산하는 방법에 따라 여러 종류로 나뉘는데, 대표적으로Additive Attention, Scaled Dot-Product Attention이 있다. 본 논문에서는 두 개의 딥러닝 모델을 서로 계층적으로 두고 그 사이에 어텐션 메커니즘을 결합한 모델을 제안한다. 계층 딥러닝 모델을 사용함으로써 대화의 계층적 정보를 처리할 수 있으며, 어텐션 메커니즘으로 문맥 정보를 사용하여 발화 문장과 문맥 정보 사이 가중치 계산이 된 입력들을 이용할 수 있다. 한국어 대화 데이터를 이용하여 실험을 진행하였으며, 단일 딥러닝 모델 및 어텐션 메커니즘을 적용하지 않은 모델보다 화행 분석에서 성능이 향상된 결과를 얻을 수 있었다.
more초록/요약
A dialogue system understands user utterances and generates appropriate feedback. The analysis of the user’s intention is an essential task of the dialogue system. Speech act refers to the intention of the speaker in utterance, and the analysis of the act refers to the determination of the proper dialogue act of utterance. Previously, support vector machine(SVM), which is a Machine Learning method, was frequently used for dialogue acts analysis. However, in the case of the Machine Learning model, hand-crafted feature engineering is needed and humans must directly extract the meaningful qualities. On the other hand, the Deep Learning method, which is studied most recently, has the advantage that the model automatically extracts the qualities from the data. Recurrent Neural Network(RNN)-based models are mainly used for this Deep Learning model. Next, the Attention Mechanism, which is used in conjunction with the Deep Learning method, is a method of using the fact that the importance of each sentence word is different according to the context. At this time, according to the method of calculating the weight of the input value divided into several types, there is representatively Additive Attention, Scaled Dot-Product Attention. In this paper, we propose a model in which hierarchical model with two Deep Learning that combines the Attention Mechanism between them. Using the Hierarchical Deep Learning model, we can process hierarchical information of dialogue, and we can use the information which is weighted between the utterance sentence and context information using context information as an attention mechanism. Experiments were conducted using Korean conversation data, and the performance of proposed model was improved in the analysis of speech act than the model without the single deep learning model and the attention mechanism.
more