What happens when ChatGPT drops the topic in the middle of the conversation : User’s effort for progressivity
- 주제어 (키워드) Conversation Analysis (CA) , Human-Computer Interaction (HCI) , GPT-4o , ChatGPT , User's Response , Progressivity , Repair
- 발행기관 서강대학교 일반대학원
- 지도교수 이요안
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 영어영문학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000081873
- UCI I804:11029-000000081873
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
본 연구는 GPT-4o 가 대화 중 낮은 음성으로 가이드라인 시스템 메시지 발화를 할 때, 사용자가 이를 어떻게 수용하고 어떤 노력들을 통해 상호작용을 이어 나가려고 하는 지에 대해 대화분석(Conversation Analysis, CA) 관점에서 분석한 것이다. GPT-4o 는 이전 대화형 인공지능 (Artificial Intelligence, AI) 모델들에 비해 인간과 유사한 고도화된 대화 능력을 갖춘 것으로 평가되지만, 예기치 않게 개입하는 시스템 메시지는 대화의 흐름을 방해하며 상호작용의 연속성을 위협한다. 본 연구는 GPT-4o 와 인간 간의 대화 자료 100 건을 수집하여, 이 중 시스템 메시지가 포함된 18 건 속 72 개의 발화들을 분석 대상으로 선정하였고 그 기반으로 사용자가 대화의 진행성을 유지하기 위해 취한 전략을 유형화하였다. 분석 결과, 대부분의 사용자는 기존의 대화 주제를 유지하고자 하며, 이를 위해 수정(repair) 발화를 시도하거나 앞선 발화를 명확히 하려는 반응을 보였다. 반면, 일부 사용자는 시스템의 제안을 수용하며 자연스럽게 주제를 전환하였다. 이러한 결과는 GPT-4o 가 여전히 인간과 동일한 대화적 민감성이나 연속성을 완전히 구현하지는 못한다는 점을 보여주며, 특히 불법적인 요소가 없음에도 불구하고 가이드라인 시스템 발화가 등장한다는 점과 한국어 상호작용의 맥락에서 이러한 차이는 더욱 뚜렷하게 드러난다는 점을 통해 GPT-4o 의 한국어 데이터 문제점도 확인할 수 있다. 본 연구는 대화분석적 접근을 통해 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI)의 도전 과제에 대한 통찰을 제공하고, 보다 인간에 가까운 대화형 인공지능 개발에 시사점을 제공한다.
more초록 (요약문)
This study analyzes how users respond to and attempt to maintain interaction when GPT-4o issues a guideline system message in a deeper voice during a conversation, from the perspective of Conversation Analysis (CA). Although GPT-4o is considered to possess highly advanced conversational capabilities compared to previous conversational Artificial Intelligence (AI) models, the unexpected insertion of guideline system messages disrupts the progressivity and threatens the continuity of interaction. The study collected 100 cases of conversations between GPT-4o and human users and selected 72 utterances from 18 cases where the guideline system messages appeared as the focus of analysis. Based on these data, the user’s strategies for maintaining the progressivity of the conversation were categorized. The analysis revealed that most users attempted to preserve the original topic of conversation by initiating repair sequences or clarifying their prior utterances. In contrast, some users accepted GPT-4o’s suggestion and naturally shifted the topic. These findings suggest that GPT4o still lacks full conversational sensitivity and progressivity comparable to human interlocutors. Notably, guideline system messages occurred even in the absence of any illegal content and such occurrences were more prominent in Korean-language interactions, indicating a potential limitation in GPT-4o’s Korean data. By employing a conversation-analytic approach, this study offers insights into the challenges of Human-Computer Interaction (HCI) and provides implications for the development of more human-like conversational AI.
more목차
Chapter I. Introduction 1
Chapter II. Literature Review 5
2.1. Engineer’s Perspective in Conversational AI Models 5
2.2. The Role of Conversation Analysis 12
2.3. AI and Conversation Analysis: Insights for Language Education 26
Chapter III. Methodology 30
3.1. Data Collection 30
3.2. Data Analysis 33
Chapter IV. Findings 35
4.1. Initiating repair 35
4.2. Changing topic 47
4.3. Opting out or closing 57
4.4. Initiating new topics 64
Chapter V. Conclusion 76
References 79
