질의응답 성공-실패 경험 재사용 기반 Agentic RAG 시스템
Agentic RAG System Based on Success-Failure Experience Reuse for Question Answering
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 김영재
- 발행년도 2026
- 학위수여년월 2026. 2
- 학위명 석사
- 학과 및 전공 AI.SW대학원 데이터사이언스 · 인공지능
- 실제URI http://www.dcollection.net/handler/sogang/000000082510
- UCI I804:11029-000000082510
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
Retrieval-Augmented Generation (RAG), which emerged to address the limitations of Large Language Models (LLMs), has evolved into Agentic RAG with dynamic reasoning capabilities. However, existing Agentic RAG systems face an accuracy-latency tradeoff, where improving accuracy through multi-step reasoning increases response latency. This study proposes SFE(Success-Failure Experience)-RAG, an experience-driven system that mitigates this tradeoff by accumulating and leveraging Success-Failure Experiences from past question- answering. SFE-RAG searches for similar past QA experiences in an experience database through vector search. When a suitable successful answer is found, it skips LLM generation and immediately returns the answer via a 'Direct Reuse Path' to reduce response latency. Additionally, success experiences are dynamically integrated into prompts as exemplary guidelines, while failure experiences serve as error avoidance guidelines, with error-type-specific retry mechanisms applied upon failure. In HotpotQA benchmark experiments requiring complex reasoning, SFE- RAG achieved an F1 score of 0.98, showing 5.4% higher accuracy than the baseline RAG-Critic. After experience accumulation, an Answer Reuse Rate (ARR) of 84% reduced processing time by 65% (7.0s→2.4s), demonstrating the feasibility of simultaneously achieving high accuracy and low latency. This study is significant in empirically demonstrating that leveraging success-failure experiences can effectively mitigate the accuracy-latency tradeoff, a core challenge of Agentic RAG.
more초록(요약문)
대규모 언어 모델(LLM)의 한계를 보완하고자 등장한 검색 증강 생성(RAG)은 동적 추론 능력을 갖춘 Agentic RAG 로 발전하였다. 그러나 기존 Agentic RAG 는 다단계 추론 과정에서 높은 지연 시간(latency)이 발생하며, 답변 정확도를 높이기 위해 더 많은 추론 단계가 필요한 정확도- 지연시간 트레이드오프에 직면하고 있다. 이에 본 연구는 과거 질의응답의 성공-실패 경험(Success-Failure Experience)을 축적하고 활용하여 이러한 트레이드오프를 완화하는 SFE(Success-Failure Experience)-RAG 를 제안한다. SFE-RAG 는 사용자 질의와 유사한 과거 질의응답 경험을 경험 데이터베이스에서 벡터 검색으로 탐색한다. 적합한 성공 답변 발견 시 LLM 생성을 생략하고 답변을 즉시 반환하는 '직접 재사용 경로'를 통해 응답 지연 시간을 단축한다. 또한 성공 경험은 모범 지침으로, 실패 경험은 오류 회피 지침으로 프롬프트에 동적으로 통합하며, 실패 시에는 오류 유형별 재시도 메커니즘을 적용한다. 복잡한 추론 능력을 요구하는 HotpotQA 벤치마크 실험에서, SFE-RAG 는 F1 점수 0.98 을 달성하여 Baseline인 RAG-Critic 대비 5.4% 높은 정확도를 보였다. 경험 축적 이후에는 답변 재사용률(ARR) 84%를 통해 처리 시간을 65% 단축(7.0초→2.4초)하여, 높은 정확도와 낮은 지연시간의 동시 달성 가능성을 입증하였다. 본 연구는 성공-실패 경험의 활용이 Agentic RAG 의 핵심 과제인 정확도- 지연시간 트레이드오프를 효과적으로 완화할 수 있음을 실증적으로 제시했다는 점에서 의의를 가진다.
more목차
제 1 장 서 론 1
제 2 장 관련 연구 3
제 1 절 검색 증강 생성(RAG)의 발전 3
제 2 절 AGENTIC RAG 시스템 3
제 3 절 선행 연구의 한계 6
제 3 장 SFE-RAG 시스템 설계 및 구현 7
제 1 절 시스템 개요 및 기존 방식과의 비교 7
제 2 절 전체 아키텍처 12
제 3 절 경험 데이터베이스 설계 15
제 4 절 성공-실패 경험 재사용 메커니즘 20
제 4 장 실험 결과 및 분석 25
제 1 절 실험 설계 25
제 2 절 실험 결과 31
제 3 절 결과 분석 38
제 5 장 결 론 47
참고문헌 48
