목적 지향 음성 대화 시스템의 개발을 위한 효율적인 프레임워크
An Efficient Framework for Development of Task-Oriented Dialog Systems
- 주제(키워드) 음성 대화 시스템 , 대화 지식 표현 , 대화 전략 , 자연어 이해 , 자연어 생성 , 심층 학습 , 재귀 신경망 , spoken dialog system , dialog knowledge , dialog strategy , natural language understanding , natural language generation , deep learning , recurrent neural network
- 발행기관 서강대학교 일반대학원
- 지도교수 서정연
- 발행년도 2018
- 학위수여년월 2018. 8
- 학위명 박사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000063437
- UCI I804:11029-000000063437
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
최근 지능형 대화 에이전트에 대한 관심이 증가함에 따라 목적지향 대화 시스템의 연구가 활발하게 진행되고 있다. 대부분의 목적지향 대화 시스템의 연구는 시스템을 구성하는 개별 요소(자연어이해, 대화관리, 자연어생성)의 성능을 높이는데 초점이 맞추어져 있는 반면, 전체 대화 시스템을 관리하고 통합하는 프레임워크의 연구는 매우 부족하다. 본 논문에서는 이러한 문제에 대응하여 쉽고 빠르게 지능형 대화 시스템의 개발할 수 있는 대화 프레임워크를 제안한다. 제안하는 프레임워크는 대화에 필요한 지식을 온톨로지(Ontology) 형식으로 정의하여 쉽고 간편하게 지식을 추가, 편집할 수 있다. 또한 대화에서 나타나는 다양한 인자 표현을 관리할 수 있는 계층적 인자 구조(Hierarchical Argument Structure)를 제공한다. 뿐만 아니라, 대화 시스템의 소스코드를 직접 편집하지 않고 간접적으로 대화 시스템을 수정할 수 있는 모듈 라우터(Module Router)를 제공하여 편리하게 추가 기능을 관리할 수 있다. 또한 본 논문에서는 의존 트리 디코딩(Dependency Tree Decoding)을 이용한 자연어 생성 방법을 제안한다. 기존의 자연어 생성은 문장을 구성하는 단어를 순서대로 생성하는 순서열 디코딩(Sequence Decoding)을 사용하였다. 제안하는 의존 트리 디코딩은 문장의 의존 트리를 순회 알고리즘으로 방문하는 순서대로 출력을 수행하고, 이 때 입력을 부모 노드, 형제 노드로 설정하고, 출력을 방문하는 자식 노드로 설정한다. 이러한 방법은 출력 순서에서 중요한 단어를 먼저 출력하고, 입력과 출력 단어의 연관성을 높일 수 있다. 본 논문에서 제안하는 대화 프레임워크의 유용함을 증명하기 위해 자연어처리 비전문가가 프레임워크를 이용하여 대화 시스템을 개발 하도록 하였고, 개발된 대화 시스템은 만족스러운 성능을 제공함을 보였다. 또한 의존 트리 디코딩의 성능을 평가하기 위해 SC-LSTM(Semantically Controlled Long Short-term Memory) 기반의 자연어 생성을 실험 환경을 구성하였고, 의존 트리 디코딩과 기존의 순서 열 디코딩을 비교하였다. 실험 결과, 의존 트리 디코딩 방법이 비교적 자연스러운 문장을 생성하고, 좀 더 다양한 문장 패턴을 제공하는 장점이 있음을 증명하였다.
more초록/요약
In recent times, with the increasing interest in conversational agents, task-oriented dialog systems have studied actively. However, most of studies are focused on individual modules of a system; there is an evident lack of research on a dialog framework that can integrate and manage the entire dialog system. In this thesis, a framework that enables the user to effectively develop an intelligent dialog system is proposed. The proposed framework ontologically expresses the knowledge required for the task-oriented dialog system's process and can build a dialog system by editing the dialog knowledge. In addition, the framework provides a module router that can indirectly run externally developed modules. Further, it enables a more intelligent conversation by providing a hierarchical argument structure (HAS) to manage the various argument representations included in natural language sentences. In addition, this thesis propose dependency tree decoding method as a novel decoding method for natural language generation. Studies into natural language generation often employ sequence decoding, which generates words in sequential order in a sentence and uses the input generated by each word in the previous question step. On the other hand, the proposed decoding method employs a sequence generated by traversing to a dependency tree. As a result, the most important words can are generated preferentially and relevance between the input and predict words can be more improved. To verify the practicality of the framework, an experiment was conducted in which developers without any previous experience in developing a dialog system developed task-oriented dialog systems using the proposed framework. The experimental results show that even beginner dialog system developers can develop a high-level task-oriented dialog system. Meanwhile, in order to evaluate dependency tree decoding in natural language generation, SC-LSTM for natural language generation is implemented, and the input and predict word sequence are converted to allow dependency tree decoding. Experimental results show that dependency tree decoding method provides significantly improved performance and that the generated sentences exhibit a promising level of variation in sentence pattern.
more