Prompt Engineering for Filtering Text-Based Spam Email
- 주제어 (키워드) Prompt Engineering , CO-STAR , Spam Email Filtering
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 구명완
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 AI.SW대학원 데이터사이언스 · 인공지능
- 실제 URI http://www.dcollection.net/handler/sogang/000000079638
- UCI I804:11029-000000079638
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
This study conducts an in-depth analysis of the effectiveness of the CO-STAR framework-based prompt engineering technique for text-based spam email filtering tasks. CO-STAR organizes six core elements—Context, Objective, Style, Tone, Audience, and Response—into a systematic structure, allowing language models to better comprehend tasks and generate optimized outputs. The study evaluates the performance of three language models, GPT-4o, GPT-4o mini, and O1-preview, by comparing standard prompts with those designed using the CO-STAR framework. Experimental results demonstrate that CO-STAR significantly outperforms conventional methods in spam detection accuracy, keyphrase extraction, and text summarization tasks. Notably, the CO-STAR approach enhances adaptability to emerging spam patterns and improves the consistency of model outputs, making it highly reliable even in complex and dynamic data environments. The findings underscore the CO-STAR framework as a robust tool for maximizing the potential of language models without additional training data. By strengthening the clarity of task definitions and response structures, CO-STAR ensures consistent output quality and extends the practical applicability of spam detection technologies. These results suggest that prompt engineering can play a crucial role in leveraging language models for complex natural language processing tasks such as spam filtering. This research highlights the design principles provided by the CO-STAR framework and their implications for innovative advancements in spam detection and email management solutions. It further outlines future research directions in prompt optimization and the development of real-time spam filtering systems.
more초록 (요약문)
본 연구는 텍스트 기반 스팸 메일 필터링 작업에서 CO-STAR 프레임워크를 활용한 프롬프트 엔지니어링 기법의 효과를 심층적으로 분석한다. CO-STAR 는 Context, Objective, Style, Tone, Audience, Response 의 여섯 가지 요소를 기반으로 프롬프트를 체계적으로 설계하여 언어 모델이 문제를 보다 명확하게 이해하고 최적화된 응답을 생성할 수 있도록 지원한다. 본 연구는 GPT-4o, GPT-4o mini, O1-preview 의 세 가지 언어 모델을 대상으로 기본 프롬프트와 CO-STAR 기반 프롬프트를 비교 실험하였다. 실험에서는 스팸 탐지 정확도, 주요 키워드 추출, 텍스트 요약 등의 다양한 작업에서 CO-STAR 방식이 기존 방식보다 뛰어난 성능을 나타내는 것을 확인하였다. 특히 CO-STAR 방식은 새로운 스팸 패턴에 대한 적응성과 모델 출력의 일관성을 크게 향상시켜, 복잡하고 다변화된 데이터 처리 환경에서도 높은 신뢰성을 보여주었다. 실험 결과는 CO-STAR 프레임워크가 데이터 학습 없이도 언어 모델의 성능을 극대화할 수 있는 강력한 도구임을 보여준다. CO-STAR 방식은 작업 정의와 응답 구조의 명확성을 강화하여 모델의 출력 품질을 일관되게 유지하고, 스팸 탐지 기술의 실질적인 활용 가능성을 넓히는 데 기여하였다. 이러한 결과는 프롬프트 엔지니어링이 스팸 필터링과 같은 복잡한 자연어 처리 작업에서 언어 모델의 잠재력을 극대화하는 데 중요한 역할을 할 수 있음을 시사한다. 본 연구는 CO-STAR 방식이 제공하는 설계 원칙과 이를 바탕으로 개발된 기술적 응용이 스팸 탐지 및 이메일 관리 솔루션의 혁신적인 발전을 이끌 수 있음을 제안하며, 프롬프트 최적화와 실시간 스팸 필터링 시스템 구현에 대한 새로운 연구 방향을 제시한다.
more목차
1. Introduction 1
2. Theoretical Background 4
2.1 Text-Based Email Filtering 6
2.2 Prompt Engineering 7
2.3 Application of the CO-STAR Framework 8
3. CO-STAR-Based Prompt Design 12
3.1 Dataset 12
3.2 Prompt Design Using the Basic Approach 13
3.3 Prompt Design Using the CO-STAR Framework 21
4. Experiments and Evaluation 25
4.1 Baseline Establishment 25
4.2 CO-STAR-Based Prompt Engineering 26
4.3 Evaluation 31
5. Conclusion 34
References 37
