검색 상세

Overlapping Speech and Shift in Participation Framework : Conversation Analysis of GPT-4 Omni Demonstrations

초록 (요약문)

This study examines how participants demonstrate conversational AI capabilities in OpenAI’s ChatGPT-4 Omni system through detailed sequential analysis of a livestreamed technology demonstration, focusing on turn-taking organization and participation frameworks. Using Conversation Analysis, it documents turn-taking practices, overlap resolution, and the coordination of openings and closings through detailed transcription of speech and embodied conduct. Findings reveal that overlapping speech is managed through ChatGPT’s consistent yielding of turns, which demonstrators exploit to maintain speakership. Additionally, participation frameworks are dynamically reconfigured: openings are launched with preparatory actions orienting human participants to the upcoming launching of the AI, while closings are accomplished among co-present human participants without pursuing system response. These findings highlight the constructed nature of ChatGPT’s participation status, revealing how human participants leverage technological affordances within socially situated practices. By bridging the gap between technical specifications and interactional practices, this study contributes to EMCA research by providing insights into the situated methods of human-AI interaction and offers implications for the design and integration of voice-based AI systems into social contexts.

more

초록 (요약문)

본 연구는 대화분석(Conversation Analysis)의 연구 방법론을 사용하여 대화형 음성 인공지능인 OpenAI 의 ChatGPT-4 Omni 의 실시간 시연 영상을 바탕으로 말겹침(overlapping speech)과 시연 참가자들 간 참여(participation framework)가 이루어지는 과정을 분석한다. 그 결과, ChatGPT 는 발화가 중첩될 때 일관되게 발화순서를 양보했으며, 시연자들은 이러한 기술적 특성(technological affordance)을 전략적으로 활용하여 자신의 발화권(speakership)을 유지하는 것으로 나타났다. 또한 인공지능과의 대화를 시작할 때와 대화를 종료하는 경우에 인간 참여자들은 각각 서로에게 대화의 시작과 끝을 명시적으로 주지시키고, 인공지능에게는 대화의 시작과 끝을 달성하는 과정에 부분적으로만 참여하도록 조율하였다. 이는 기술 시연이라는 사회적인 맥락(situated context) 아래에서 대화의 순차적인 위치(sequential location)와 인간 참여자들의 지향(orientation)에 따라 인공지능의 참여가 국지적으로 조율되고 규제(locally managed and regulated)된다는 점을 보여준다. 본 연구는 기술 발전과 실제로 이루어지는 인간-기계 간 상호작용 사이의 간극을 기술하고, 이러한 상호작용의 맥락적 특성을 밝힘으로써 음성 기반 인공지능 시스템을 이해하고 설계하는 실증적인 관점을 제공한다.

more

목차

Chapter I Introduction 10
Chapter II Literature Review 12
2.1. Engineering Framework of Conversational Systems 13
2.2. Human-Human Interaction and the Organization of Turn-Taking 16
2.3. Turn-Taking Problems in Human-Computer Interaction 19
2.4. Management of Overlapping Speech 21
2.5. Interrelated Organizations of Conversation 24
2.5.1. Repair Organization 25
2.5.2. Adjacency Pairs 26
2.5.3. Opening Sequences in Human-Computer Interaction 26
2.5.4. Closing Sequences in Human-Computer Interaction 28
2.6. Reconsidering Human-Computer Interaction 29
2.7. Live Technology Demonstration and Participation Framework 33
2.8. Research Gaps and Objectives 35
Chapter III Methodology 37
3.1. Data Collection and Analysis 37
3.2. Data Transcription 39
3.3. Technical Specifications and Turn-Taking Mechanics 40
Chapter IV Findings 43
4.1. Interrupting the AI System 44
4.2. Managing Openings and Closings in Live Demonstration 62
Chapter V Conclusion 75
References 77

more