다양한 어휘 자질의 워드 임베딩을 이용한 화행 분석 추출
A Speech Act Extraction Based on Word Embedding using Various Lexical Feature
- 주제(키워드) 화행분석 , 의존관계 , 지지벡터기계 , 딥러닝 , Convolutional Neural Network , Word Embedding , Bigram Embedding
- 발행기관 서강대학교 일반대학원
- 지도교수 서정연
- 발행년도 2016
- 학위수여년월 2016. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000060084
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
화행분석은 대화 문장 속에서 나타나는 화자의 의도를 분석하는 것을 말한다. 특히, 대화 시스템에서 화행분석은 화자의 의도를 파악한 후 시스템 상에서 정의된 대화 전략에 따라 응답을 생성하기 때문에 대화시스템에서 없어서 안 될 부분이며 상당히 중요한 부분이다. 화행분석을 위한 방법으로는 규칙 및 통계 기반으로 연구되었다. 규칙 기반은 화행을 결정하기 위한 규칙들을 직접 작성하는 것으로 각 도메인 지식을 획득하는데 많은 시간이 소모되고, 다른 도메인으로 확장할 경우 해당 도메인에 대한 규칙을 다시 구축해야 하는 단점을 가지고 있다. 기계 학습 모델은 규칙을 생성하는 규칙 기반 모델과는 다르게 대량의 대화 코퍼스를 학습하여 학습된 결과를 바탕으로 각 발화의 화행을 결정하는 방법이다. 특히, 기존 연구에서는 통계 기반 모델 중 지지벡터기계(SVM; Support Vector Machine) 분류기를 이용하여 많은 연구되어 왔지만, 최근에는 딥러닝(Deep Learning)을 이용한 연구도 많이 진행되고 있다. 본 논문에서는 기존 연구에서 화행분석을 위해 딥러닝(Deep Learning) 기술 중에 하나인 Convolutional Neural Network(CNN)를 이용하여 화행을 추출하는 모델을 제안한다. 화행분석을 위해 기존 연구에서 사용했던 자질은 단어/품사 쌍, 단어/품사 바이그램, 품사 바이그램 등이 있었지만 추가로 문장의 구조적 정보를 나타낼 수 있는 문장 성분 간의 의존관계 정보를 사용한다. 또한, Convolutional Neural Network(CNN)를 이용한 기존 연구에서는 단어 단위의 워드임베딩(Word Embedding)만을 사용하였지만 본 논문에서는 어휘 자질의 바이그램을 distributed representation으로 변환하여 사용하기 위해 바이그램 단위의 워드임베딩을 학습시킨다. 실험을 통하여 본 논문에서 제안하는 다양한 바이그램의 어휘자질을 사용했을 경우 성능은 기존 연구와 비교했을 때 약 2.40%의 성능을 향상시켰다. 또한, 다양한 바이그램 어휘 자질 중에서도 의존관계 바이그램을 추가하였을 경우 가장 높은 성능을 보였으며 문장의 의존 관계 바이그램을 사용하는 모델은 사용하지 않은 모델과의 성능은 최대 약 1.18% 차이를 보였다.
more초록/요약
Speech acts classification is to analyze the intention of speaker in an utterance. Especially, speech acts is an essential part of natural language dialogue system. After analyzing the intention of speaker, the dialogue system generates an utterance based on defined system’s dialogue strategy. Many researchers have studied the speech acts classification. The techniques of speech act classification can be roughly divided into two folds; rule based and statistical based. Rule based speech acts classification makes manually rules classify speech acts, but it takes a lot of time to get knowledge following each domain. If expanding other domain, it re-make rules based on other domain’s knowledge. In contrast, statistical based speech acts classification learns statistical classification model with dialogue corpus annotated with speech acts. As a result, it determines speech acts of new utterance by using the statistical classification model. Many researchers have used Support Vector Machine(SVM) to classify speech acts. However, they have recently studied speech acts classification model to apply Deep Learning. In this paper, a proposed model extracts speech acts to use Convolutional Neural Network(CNN). Previous studies for speech acts classification used feature from utterances in the annotated dialogue corpus such as word/part of speech pair and bigram to classify speech acts. This model use additionally dependency relation bigram that represents structured information of utterances through modified relation between constituents in sentence. Previous researches applied Convolutional Neural Network(CNN) used word embedding, but we learned bigram embedding to replace bigram feature with distributed representation. Experiment showed that the proposed model improves the accuracy 2.40%p by using various bigram feature compared with previous studies. Especially, the model used dependency relation bigram is mode better result accuracy than not using dependency relation bigram by 1.18%.
more