발화 간 어텐션을 이용한 대화 시스템에서의 응답 선택
Response Selection in Dialogue System using Utterance-level Attention
초록/요약
자연어 처리의 중요한 분야 중 하나인 대화 시스템은 사용자의 발화를 이해하고, 적절한 응답을 생성한다. 검색 기반 대화 시스템의 응답 선택은 대화 문맥이 주어졌을 때, 다음에 올 가장 적절한 발화를 찾는 작업이다. 일반적으로 대화는 Multi-turn인 경우가 많고, 발화자의 숨겨진 의도를 파악해야 하므로, 응답 선택은 어려운 과제로 남아 있다. 응답 선택을 위한 최근의 딥러닝 기반의 모델들은 크게 계층-기반 방식의 모델과 시퀀스-기반 방식의 모델로 나누어진다. 계층-기반 방식의 모델은 발화와 발화간의 관계를 잘 모델링하지만 많은 연산량과 메모리를 요구한다는 단점이 있고, 시퀀스-기반 방식은 비교적 적은 연산량과 메모리를 요구하지만 계층-기반 방식보다 발화간의 관계 모델링은 떨어지는 단점이 존재한다. 본 논문에서는 발화 간 어텐션을 이용해 두 방식을 조합한 하이브리드 방식의 모델을 제안한다. 단어 임베딩으로는 대화 또는 발화 내의 단어들끼리의 문맥적 정보를 포함하는 BERT 기반의 임베딩을 사용했으며, 문장의 정보를 표현하기 위해 다양한 발화 임베딩에 대한 실험을 진행했다. 최종적으로 본 논문의 제안 모델이 DSTC8 ubuntu dataset에 대해서는 약 2.3% 포인트의 성능 향상을 기록했고, 다른 데이터셋에 대해서도 의미 있는 성능 향상을 기록했다.
more초록/요약
A dialogue system, one of the important areas of natural language processing, understands the user's utterance and generates an appropriate response. The choice of response in a retrieval-based dialogue system is to find the most appropriate utterance that will come next, given the context of the conversation. Generally speaking, the choice of response remains a difficult task, as dialogue is often Multi-turn and the speaker's hidden intentions need to be identified. Recent deep learning-based models for response selection are largely divided into hierarchy-based and sequence-based models. Although a hierarchy-based model is a good at modeling the relationship between utterances, it requires a lot of computations and memory. Sequence-based methods require relatively little computations and memory, but there are disadvantages of lack of modeling the relationship between utterances than hierarchy-based methods. In this paper, we propose a hybrid model combining two methods using utterance-level attention. As a word embedding, BERT-based embedding was used, which includes contextual information between words within a conversation or utterance. We experimented with various utterance embeddings in order to express the information in utterances. Finally, our models got 2.3% point improvement in DSTC8 ubuntu dataset, and meaningful improvement in other datasets.
more