인공지능 기반 한국어 온라인 뉴스 가짜 댓글 생성 및 탐지
AI-based Generation and Detection of Fake Comments on Korean Online News
- 주제어 (키워드) 인공지능 , 온라인 뉴스 , 댓글 생성 및 탐지 , Llama , BERT , AI , Online news , Generating and Detecting Comments , Llama , BERT
- 발행기관 서강대학교 메타버스전문대학원
- 지도교수 박상훈
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 메타버스전문대학원 메타버스테크놀로지
- 실제 URI http://www.dcollection.net/handler/sogang/000000079613
- UCI I804:11029-000000079613
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
댓글은 디지털 소통에 중요한 요소 중 하나로 자리 잡았다. 그러나 대형 언어 모델의 발전으로 인한 가짜 댓글, 즉 인공지능 생성 텍스트가 향후 더욱 발전해, 사회적 소통 전반에 대한 불신이 야기될 위험이 있다. 본 연구는 그러한 댓글 중 특히 한국어 뉴스의 가짜 댓글에 대한 탐지 연구를 진행했다. 이를 위해 데이터셋을 직접 구축하고, Llama 3.2 3b를 기반의 생성 모델을 미세 조정했다. 미세 조정 시에는 실제 상황에서의 정합성을 높이기 위해 전처리를 간소화했다. 이 생성 결과의 종료 토큰 이후 값을 삭제해 인간 평가한 결과 적절한 성능을 보였다. 이후, 생성 모델을 통해 생성한 가짜 댓글을 바탕으로 이진 분류 탐지 데이터셋을 구축했다. 데이터셋을 BERT, KcBERT, KoBERT, DistilKoBERT 네 가지 모델에 미세 조정해 한국어 가짜 댓글 탐지 모델을 만들었다. 5분할 교차검증을 통해 탐지 모델을 평가한 결과, 평균 96.58%에서 평균 92.23%의 탐지 성능을 보였다. 평균 Accuracy를 기준으로 KcBERT, KoBERT, DistilKoBERT, BERT 순서로 높은 탐지 결과를 기록했는데, KcBERT와 KoBERT의 성능에 큰 차이가 없었다. 이는 비슷한 데이터를 기반으로 학습된 KcBERT의 성능이 월등히 뛰어날 것이라는 가설을 배반한다. 이에 본 연구는 소규모 데이터셋으로도 Llama 미세 조정을 통해 원하는 형식과 문체의 한국어 텍스트를 만들어 낼 수 있다는 결론과, BERT 기반 모델의 한국어 탐지 활용에 있어서 더 중요한 것은 토크나이저와 모델의 크기라는 결론을 도출할 수 있었다. 연구의 한계는 생성 데이터의 품질이며, 본문과 댓글 간 연관성 분석의 부족 문제이다. 그럼에도 본 연구는 뉴스 댓글에 인공지능 생성 텍스트 문제가 발생할 수 있다는 점을 환기하고, 또 그 탐지에 있어서 적절한 모델 및 방법론을 제시했다는 점에서 의의가 있다.
more초록 (요약문)
Comments have become one of the key elements of online communication. However, with the advancement of LLM, there is a growing risk of fake comments—AI-generated texts—leading to distrust in overall social communication. This study focuses on detecting such comments, particularly fake comments on on Korean Online News articles. To achieve this, the dataset were directly constructed, and a generation model based on Llama 3.2 3b was fine-tuned. During fine-tuning, preprocessing was simplified to enhance real-world applicability. Values after the end token of the generated output were removed, resulting in acceptable performance in human evaluations. Human evaluation confirmed the appropriateness of this approach. Using the generated fake comments, a binary classification dataset was constructed. The dataset was fine-tuned with four models—BERT, KcBERT, KoBERT, and DistilKoBERT—to create Korean fake comment detection models. Performance evaluation through five-fold cross-validation revealed detection accuracy ranging from an average of 96.58% to 92.23%. Based on average accuracy, KcBERT, KoBERT, DistilKoBERT, and BERT ranked in that order, with no significant performance gap between KcBERT and KoBERT. This contradicts the hypothesis that KcBERT, trained on similar datasets, would exhibit superior performance. From this study, two key conclusions were drawn. First, it is possible to generate Korean text with desired formats and styles using fine-tuning with Llama on a small dataset. Second, for detection tasks using BERT-based models in Korean, it can be concluded that the tokenizer and model size are more important. The limitations of this study include the quality of the generated data and the lack of analysis on the relevance between the main text and the comments. Nevertheless, this study draws attention to the challenges posed by AI-generated text in news comments and suggests appropriate models and methodologies for detection, contributing to understanding the issue of fake comments.
more목차
1 서론 1
2 관련연구 5
2.1 언어모델 5
2.1.1 BERT 8
2.1.2 Llama 9
2.2 인공지능생성텍스트탐지연구 10
3 제안방법 14
3.1 가짜댓글생성 15
3.1.1 데이터수집및정제 15
3.1.2 데이터분석 17
3.1.3 모델선정 20
3.1.4 생성평가척도 22
3.2 가짜댓글탐지 23
3.2.1 데이터셋구축 23
3.2.2 모델선정 25
3.2.3 탐지평가척도 28
4 실험결과및분석 30
4.1 실험결과 31
4.1.1 가짜댓글생성결과 31
4.1.2 가짜댓글탐지결과 38
4.2 결과평가및분석 44
4.2.1 생성결과 44
4.2.2 탐지결과 47
5 결론 54
5.1 결론및기여 54
5.2 연구의한계 55
References 57
