검색 상세

간접 프롬프트 인젝션 대응을 위한 함수 호출 계획 기반 실행흐름 이탈 진단

Function-Call Plan-Grounded Diagnosis of Execution-Flow Deviations for Defense Against Indirect Prompt Injection

초록(요약문)

이메일·문서·웹페이지를 읽고 도구를 호출하는 생성형 AI 에이전트는 외부 데이터에 섞인 지시문을 사용자의 지시로 착각할 수 있다. 본 연구는 이 위험을 외부 데이터의 특정 문장이 악성인지 가리는 분류 문제로 좁히지 않고, 사용자 요청에서 마땅히 유도되어야 할 정상 실행 흐름이 외부 데이터에 의해 벗어나는 실행흐름 이탈（execution-flow deviation） 문제로 다룬다. 제안하는 Plan-Action Gate는 에이전트가 외부 데이터를 읽기 전에 사용자 요청과 도구 스키마만으로 함수 호출 단위 계획을 생성하고, 런타임에 제안되는 각 호출이 그 계획 단계로 설명되는지를 검증한다. 계획 단계와 제안 호출을 고정 템플릿 문장으로 변환한 뒤, 자연어 추론（NLI） 함의 점수와 임베딩 코사인 유사도를 결합해 행동 단위 위험점수로 환산한다. 다만 본 연구는 이 게이트를 완성형 방어로 내세우지 않고, LLM 검증기를 반복 호출하지 않는 경량 게이트가 행동 단위에서 어떤 진단 신호와 실패 후보를 만드는지를 분석하는 진단 기준선으로 자리매김한다. 실험은 AgentDojo의 banking·slack·travel·workspace 네 suite와 injecagent 공격 조건의 949개 시나리오 쌍에서 수행하였다. 방어 미적용 대비 Plan-Action Gate는 보안 predicate 기준 공격 성공률을 4.6%에서 0.6%로, 하니스 기반 공격 목표 달성률을 62.2%에서 45.8%로 낮췄으나, 사용자 작업 성공률（TSR）도 53.8%에서 33.9%로 떨어졌다. 따라서 이 결과는 방어 우월성의 증거가 아니라 유틸리티-보안 상충（trade-off）의 진단 사례다. 게이트가 수집한 4,346개 행동 분석에서 코사인 대체 경로로 분류된 1,151건은 한 건도 차단되지 않아, 이 경로가 과차단을 줄이는 동시에 동일 함수의 인자 이탈을 허용하는 양면성을 드러냈다. 본 연구의 기여는 단일 기법의 최초성이 아니라, 외부 데이터 접촉 이전에 고정한 계획을 기준선으로 한 경량 NLI 일관성 검증을 완성형 방어가 아닌 진단 기준선으로 재구성하고, 4,346개 행동을 진단 패턴으로 분해해 후속 방어 설계에 필요한 기준선을 제시한 데 있다.

more

초록(요약문)

Generative AI agents that read external data — email, documents, and web pages — and call tools can mistake instructions embedded in that data for the user's own commands. This thesis does not reduce the risk to classifying whether a sentence in the external data is malicious; instead, it treats the risk as execution-flow deviation, in which the normal flow that should follow from the user's request is diverted by the external data. Before the agent reads any external data, the proposed Plan-Action Gate generates a FunctionCall-like step plan from the user request and tool schema alone, and at runtime checks whether each proposed call can be explained by a plan step. Plan steps and proposed calls are converted into fixed template sentences, and an action-level risk score is computed by combining the entailment score of natural language inference （NLI） with sentence-embedding cosine similarity. The aim is not to present the gate as a complete defense, but to position it as a diagnostic baseline that, without repeated LLM-verifier calls, reveals what diagnostic signals and structural failure candidates a lightweight runtime gate produces at the action level. Experiments were conducted on four AgentDojo suites （banking, slack, travel, workspace） under the injecagent setting. Across 949 scenario pairs, the Plan-Action Gate lowered the security-predicate attack-success rate from 4.6% to 0.6% and the harness-based attack-goal completion rate from 62.2% to 45.8% relative to no defense, but task success rate （TSR） also dropped from 53.8% to 33.9%. We read this not as evidence of superior defense but as a diagnostic case of the utility-security trade-off. Among the 4,346 actions collected under the gate, none of the 1,151 routed to the cosine fallback were blocked, exposing how that path reduces over-blocking while permitting same-function argument deviations. The contribution lies not in the novelty of any single technique but in recasting lightweight, action-level NLI-based consistency checking — anchored to a plan fixed before any external data is read — as a diagnostic baseline rather than a complete defense, and in decomposing runtime actions into diagnostic patterns that inform future defense design.

more

목차

제 1 장 서론 13
1.1 연구 배경 13
1.2 문제 정의 13
1.3 기존 연구의 한계 14
1.4 연구 목적과 기여 14
1.5 논문 구성 16
제 2 장 관련 연구 18
2.1 간접 프롬프트 인젝션 18
2.2 도구 통합 에이전트 벤치마크 18
2.3 사용자 목표 부합성 및 계획 기반 방어 19
2.4 자연어 추론과 의미 유사도 20
제 3 장 연구 문제 정의 22
제 4 장 Plan-Action Gate: 실행흐름 진단 구조 23
4.1 전체 구조 23
4.2 위협 모델 및 연구 가정 25
4.3 FunctionCall-like Step Plan 생성 26
4.4 FunctionCall 문장 템플릿 기반 정규화 27
4.5 계획 단계 선택 27
4.6 위험점수 계산 28
4.7 지역 윈도우 동기화 정책 30
제 5 장 실험 설계 31
5.1 벤치마크 31
5.2 비교군 31
5.3 실험 환경 및 모델 구성 32
5.4 행동 단위 보조 진단 분류 방법론 34
5.5 평가 지표 35
5.6 민감도 분석 36
제 6 장 실험 결과 및 토의 37
6.1 사례 단위 비교 결과 （No Defense vs Plan-Action Gate） 37
6.2 게이트 결정 분포 분석 40
6.3 민감도 분석 43
6.3.1 τ 민감도 （γ=0.8 고정） 44
6.3.2 γ 민감도 （τ=0.7 고정） 유틸리티-보안 상충 관계 핵심 45
6.4 실패 유형 및 진단 패턴 46
6.4.1 동적 인자 구체화 （Dynamic Argument Grounding） 46
6.4.2 동일 함수 인자 이탈 （Same-function Argument Drift） 46
6.4.3 함수 수준 불일치 （Function-level Mismatch） 47
6.4.4 계획 누락 （Planner Omission, 정상 관련 차단） 47
6.5 그림 구성 및 해석 48
6.6 종합 토의 51
6.7 AgentDojo 내장 방어기법과의 비교 52
6.7.1 비교 목적과 조건 52
6.7.2 사례 단위 비교 결과 52
6.7.3 베이스라인의 작업 정지형 실패 진단 53
6.7.4 통계 검정 54
6.7.5 해석: 진단 기준선의 상대적 위치 54
제 7 장 결론 및 향후 연구 56
7.1 결론 56
7.2 연구문제별 종합 57
7.3 향후 연구 58
참고문헌 60

more
반출 Meta View 목록