희귀 동작 생성을 위한 RAG 기반 텍스트 프롬프트 증강 연구 : 검색 전략 및 LLM 기반 동작 기술 방식에 따른 효과 비교
A Study on RAG-based Text Prompt Augmentation for Rare Motion Video Generation : Comparing Retrieval Strategies and LLM-based Motion Description Methods
- 주제(키워드) 텍스트-비디오 생성 , 희귀 동작 , 검색 증강 생성（RAG） , 프롬프트 증강 , Training-free , 동작 충실도 , 의미적 정확도 , 시각적 충실도 , CSAC , Text-to-Video Generation , Rare Motion , Retrieval-Augmented Generation , Prompt Augmentation , Training-free , Motion Fidelity , Semantic Correctness , Visual Fidelity , CSAC
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 박운상
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 AI.SW대학원 데이터사이언스 · 인공지능
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000083195
- UCI I804:11029-000000083195
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
대규모 텍스트-비디오（T2V） 생성 모델은 일반적인 동작에서는 높은 품질을 보이나, 학습 데이터 분포의 롱테일（long-tail） 영역에 속하는 희귀 동작（백플립, 공중제비, 특수 무술 기법 등）에 대해서는 텍스트 프롬프트를 무시하고 출현 빈도가 높은 일반 동작으로 회귀하거나 심각한 생성 오류（환각）를 일으키는 경향이 있다. 본 연구는 추가 학습 없이 텍스트 프롬프트만을 증강하는 Training-free RAG 파이프라인을 제안하고, 3가지 검색 전략（CLIP 기반, Optical Flow 기반, Hybrid）과 3가지 LLM 동작 기술 방식（단순, 구조화, 물리적）의 조합이 희귀 동작 생성 품질에 미치는 영향을 정량적으로 분석한다. 모든 비교는 동일 동작을 짝으로 묶어 대응표본 t-검정과 Wilcoxon 부호순위 검정으로 검증하고 Cohen's d로 효과 크기를 보고하며, 유의수준은 α=0.05로 설정한다. 30개 희귀 동작 카테고리에 대해 Wan2.1-T2V-14B를 기반 모델로 본 실험 300개 영상과 보조 실험 180개 영상을 생성·평가하였다. 주요 결과는 두 가지이다. 첫째, 기술 방식 선택이 검색 전략보다 생성 품질에 더 결정적이다. 구조화（Structured） 기술 방식은 베이스라인 대비 의미적 정확도가 4.3% 향상되어 통계적으로 유의하였고（SC: p=0.004, d=0.588）, 시각적 충실도도 3.6% 향상되어 통계적으로 유의하였다（VF: p=0.039, d=0.415）. 반면 물리적（Physical） 기술 방식은 의미적 정확도가 15.6%, 시각적 충실도가 13.8% 하락하는 부정적 효과를 보였다（모두 p〈0.001）. 둘째, 검색 전략 중 Flow 및 Hybrid 검색이 새로 제안한 검색 품질 지표 CSAC에서 CLIP 단독 검색보다 통계적으로 유의하게 높으며（p〈0.05）, Flow와 Hybrid 5:5 간에는 통계적으로 유의한 차이가 없다（p=0.921）. Hybrid（5:5） 검색과 구조화 기술 방식의 조합은 SC·VF·MF 세 지표 모두에서 베이스라인을 상회한 유일한 본 실험 조합이며, Flow+Structured와 전체 수준에서는 통계적으로 동등하나（p=0.32~0.72） 동작 유형 그룹 전반의 안정성에서 우위를 보였다. 본 파이프라인은 추가 학습 없이 텍스트 공간에서만 개입하므로 원리적으로 다양한 T2V 모델 구조에 적용될 수 있도록 설계되었으며, 다른 모델에서의 실증은 향후 과제로 남는다.
more초록(요약문)
Large-scale text-to-video （T2V） generation models achieve high quality for common motions but frequently fail on rare motions that lie in the long-tail region of their training data distribution, such as backflips, aerial somersaults, or specialized martial-arts techniques. For these motions the model tends to ignore the text prompt and regress toward a frequent, visually similar action, producing hallucinations. This study proposes a Training-free Retrieval-Augmented Generation （RAG） pipeline that augments the text prompt without any additional model training, and systematically analyzes how the combination of three retrieval strategies （CLIP-based, Optical Flow-based, Hybrid） and three LLM-based motion description methods （Simple, Structured, Physical） affects generation quality for rare motions. Experiments were conducted on 30 rare-motion categories using Wan2.1-T2V-14B as the base model. The main experiment evaluates 10 conditions （9 RAG combinations and a baseline）, generating 300 videos in total, and an auxiliary experiment （180 videos） analyzes the effect of Hybrid ratio variation. All comparisons are paired by action and assessed with paired t-tests, Wilcoxon signed-rank tests, and Cohen's d at a significance level of α=0.05. Two principal findings emerge. First, the choice of description method is more decisive than the retrieval strategy: Structured description significantly outperforms the baseline in Semantic Correctness （SC: +4.3%, p=0.004, d=0.588） and Visual Fidelity （VF: +3.6%, p=0.039, d=0.415）, whereas Physical description shows significantly negative effects （SC: -15.6%, d=-1.204; VF: -13.8%, d=-1.147, both p〈0.001）. Second, Flow and Hybrid retrievals significantly outperform CLIP-only retrieval in CSAC, a newly proposed retrieval-quality metric （p〈0.05, d=0.45-0.60）, with no significant difference between Flow and Hybrid 5:5 （p=0.921）. The Hybrid （5:5） and Structured combination is the only main-experiment condition that exceeds the baseline on all three generation-quality metrics, and is statistically equivalent to Flow+Structured at the overall level （p=0.32-0.72） while being more stable across action-type groups. Because the pipeline requires no additional training and intervenes only at the text level, it is in principle applicable to a wide range of T2V architectures, although validation on other models remains future work.
more목차
제 1 장 서론 1
제 1 절 연구 배경 및 필요성 1
제 2 절 희귀 동작의 정의와 범위 3
제 3 절 연구 목적 및 연구 질문 4
제 4 절 주요 기여 5
제 5 절 논문 구성 6
제 2 장 관련 연구 7
제 1 절 텍스트-비디오 생성 모델 7
제 2 절 비디오 도메인에서의 RAG 8
제 3 절 Training-free 모션 제어 9
제 4 절 아키텍처 종속성과 추론 레이어 분리 9
제 5 절 기존 연구와의 차별성 11
제 3 장 연구 방법론 13
제 1 절 전체 파이프라인 13
제 2 절 검색 모듈（실험 변수 1） 15
제 3 절 LLM 동작 기술 모듈（실험 변수 2） 16
제 4 절 프롬프트 증강 전략 18
제 4 장 실험 20
제 1 절 데이터셋 구성 20
제 2 절 본 실험 조합 21
제 3 절 보조 실험 조합 22
제 4 절 평가 지표 23
제 5 절 통계 분석 방법 26
제 6 절 구현 세부사항 27
제 5 장 실험 결과 및 분석 29
제 1 절 전체 성능 개요 29
제 2 절 기술 방식별 효과 분석 30
제 3 절 검색 전략별 효과 분석 33
제 4 절 검색 품질 분석 35
제 5 절 그룹별 분석 37
제 6 절 최적 파이프라인 제안 39
제 7 절 보조 실험: Hybrid 비율 최적화 41
제 6 장 결론 43
제 1 절 연구 요약 43
제 2 절 연구의 시사점 및 실무 활용 44
제 3 절 한계 및 향후 연구 45
참고문헌 47
