QNQCDE : 질문과 비질문 쌍을 이용한 대조 학습 기반 대화 임베딩 방법론
QNQCDE: Simple Contrastive Learning of Dialogue Embeddings using Question and Non-Question Pairs
- 주제어 (키워드) 대조 학습 , 비지도 학습 , 대화 임베딩 , 다중 발화자 대화 , 질문과 비질문 , Contrastive learning , Unsupervised learning , Dialogue embedding , Multi-party Dialogue , Question and Non-Question
- 발행기관 서강대학교 일반대학원
- 지도교수 양지훈
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 실제 URI http://www.dcollection.net/handler/sogang/000000079373
- UCI I804:11029-000000079373
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
본 논문은 대화 임베딩을 위한 새로운 대조 학습 접근법인 QNQCDE를 제안한다. 본 연구에서는 처음으로 다중 턴 대화와 다중 발화자 대화에 모두 적용할 수 있는 비지도 학습 방법을 소개한다. 이전 연구들은 주로 사전 학습된 언어 모델(Pre-trained Language Models(PLMs))을 사용하거나 오직 두 명의 발화자 간 상호작용만을 고려한다. 그러나 이러한 접근 방식은 다중 발화자 대화로 확장할 때, 성능이 저하되거나 적용하기 어렵다는 문제가 발생한다. QNQCDE는 발화자 수와 상관없이 사용할 수 있는 일반화된 대화 임베딩 방법으로, 대화의 핵심 요소로 질문을 고려하여 질문과 비질문 간 상호작용을 이해하는 것을 목표로 한다. 질문과 비질문 턴 간의 관련성을 세 가지 유형으로 정의하여 샘플을 생성한다. 각 샘플에 대하여 양성, 약한 양성, 음성 쌍을 생성하여 세밀한 정보를 반영할 수 있는 대화 임베딩을 학습한다. 도메인 분류, 의미적 유사도, 대화 검색, 총 세 가지 과제에 대해 QNQCDE를 평가하였다. 각 과제에서 여섯 개의 데이터 셋을 대상으로 평균적으로 Purity 6.1%, 스피어만 상관계수(Spearman's correlation coefficient) 3.0%, Mean Average Precision(MAP) 4.5%의 성능 향상을 달성하여 관련 분야에서 가장 높은 성능을 나타냈다. 또한, 다양한 소거 실험과 분석을 통해 QNQCDE의 성능을 추가적으로 검토하여 우수성을 입증하였다.
more초록 (요약문)
This paper presents QNQCDE, a simple contrastive learning approach for dialogue embedding. We first introduce an unsupervised learning method that can be applied to both multi-turn and multi-party dialogues. Previous methods generally used pre-trained language models(PLMs) or only considered interactions between two interlocutors. However, these approaches resulted in poor performance or difficulties when extending to multi-party dialogues. We propose QNQCDE, a generalized dialogue embedding method that can be utilized regardless of the number of interlocutors. QNQCDE considers questions as the key elements of dialogues and aims to understand the interactions between Question and Non-Questions(QNQ). QNQCDE defines the relatedness between question and non-question turns in three types to generate samples. For each dialogue sample, positive, soft positive, and negative pairs are generated to learn fine-grained informative dialogue embeddings. We evaluate QNQCDE across three tasks: domain classification, semantic relatedness, and dialogue retrieval. The proposed approach achieves state-of-the-art performance by improving, on average, 6.1% in purity, 3.0% in Spearman's correlation coefficient, and 4.5% in mean average precision(MAP) across six datasets for each task. Furthermore, we conduct various ablation studies and analyses to further examine the performance of QNQCDE.
more목차
제 1 장 서론 1
1.1 연구 배경 1
1.2 논문의 구성 4
제 2 장 관련 연구 5
2.1 대조 학습 5
2.1.1 비전 분야에서의 대조 학습 5
2.1.2 자연어 처리 분야에서의 대조 학습 6
2.2 대화 임베딩 8
제 3 장 질문과 비질문 쌍을 이용한 대조 학습 기반 임베딩 방법론 10
3.1 질문과 비질문 턴 10
3.2 대화 내 질문 삽입 방법 11
3.3 대화 샘플 생성 방법 13
3.4 인코딩 15
3.5 질문과 비질문 쌍을 이용한 대조 학습 16
제 4 장 실험 방법 18
4.1 사용 데이터 셋 18
4.1.1 두 명의 발화자 간 대화 데이터 셋 18
4.1.2 세 명 이상의 다중 발화자가 포함된 대화 데이터 셋 19
4.2 데이터 셋 전처리 20
4.3 평가 방법 21
4.4 비교 모델 21
4.5 실험 환경 23
제 5 장 실험 결과 및 분석 24
5.1 주요 실험 결과 24
5.2 Alignment와 Uniformity기반 결과 분석 26
5.3 Ablation Study 28
5.3.1 약한 양성 쌍의 효과 검증 29
5.3.2 질문과 비질문 턴의 효과 검증 29
제 6 장 결론 및 토의 31
참 고 문 헌 32