Multi-step Agent-Based Context-Dependent Question Generation for Cultural Understanding
문화 이해를 위한 다단계 에이전트 기반 맥락 의존형 문항 생성
- 주제(키워드) 문화 이해 평가 , 대형 언어 모델 , 대형 추론 모델 , 다중 선택형 질의응답 , 데이터 증강 , Cultural understanding evaluation , Large language models , Large reasoning models , Multiple-choice question answering , Data augmentation
- 발행기관 서강대학교 일반대학원
- 지도교수 구명완
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 실제URI http://www.dcollection.net/handler/sogang/000000083235
- UCI I804:11029-000000083235
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
대형언어모델（Large Language Model, LLM）과대형추론모델（Large Reasoning Model, LRM）의 문화 지식 평가는 다중 선택형 질의응답（Multiple-Choice Question Answering, MCQA） 벤치마크를 중심으로 발전해 왔다. 그러나 기존 접근법은 정확도 단일 지표에 의존할 때 모델의 문화 지식 습득 정도를 타당하게 측정하지 못하는 한계를 보인다. 이러한 한계는 벤치마크마다 문화 분류 체계가 달라 측정 대상이 통합되지 않고, 사람을 위해 정립된 문항-작성 규칙（item-writing rubric）을 맥락 의존적인 문화 문항에 그대로 적용할 수 없으며, 평가 자원 대부분이 학습에 쓸 수 없는 소규모 수작업 데이터라는 근본 원인에서 기인한다. 지시 수행과 추론 능력을 갖춘 LLM과 LRM 에이전트의 등장은 이러한 한계를 보완할 가능성을 제시한다. 본 논문은 전문가가 작성한 소수의 시드를 문화 차원과 문항 형식에 따라 자동 확장하고 단계별로 검증하는 다단계 문화 에이전트 생성 방법론을 제안한다. 제안하는 방법은 서로 다른 문화 분류 체계를 관념적, 언어적, 사회적 세 가지 요소로 통합하고, 19가지 item-writing rubric을 네 가지 그룹으로 재분류하여 모델 평가에 유효한 규칙만 선택 적용하며, 맥락, 질문 문구, 선택지를 독립 슬롯으로 분리한 맥락 의존형 문항을 생성하여 같은 문항을 여러 평가 조건으로 변형할 수 있게 한다. 이를 통해 정확도에 맥락 의존도와 NOTA-shortcut 선택률（“정답 없음”（None of the Above, NOTA） 선택지를 추가했을 때 모델이 원래 정답을 고집하는 비율）을 더한 다각화된 평가를 달성한다. 공개 문화 MCQA 형태 벤치마크와 제안한 방법으로 생성한 벤치마크를 활용하여, 상용 모델 10종과 추론 생성을 켜고 끌 수 있는 공개 모델 8종을 평가하였다. 그 결과, 맥락이 제공된 조건에서는 상용 모델의 정확도가 94.1–96.0%에 이르는 포화 상태를 보였지만, 본 논문은 맥락 제거 시 최대 44.6%p의 정확도 하락과 그 이면의 표면 단서 기반 shortcut 풀이를 분리 측정하였다. 이는 정확도 단일 지표 평가가 가리는 문항 형식, 맥락, 채점의 왜곡을 구분해 낼 수 있음을 보여준다. 또한 맥락 조건 변형과 NOTA-shortcut 지표는 모델이 맥락 기반 해석을 충실히 수행하지 못하고 표면 단서에 의존함을 드러내며, 문화 데이터로 미세조정한 모델의 정확도 향상도 맥락을 제거하면 사라져 형식 적응에 그침을 보인다. 본 연구는 대규모 전문가 수작업이라는 비용을 제거하면서, 문항 설계와 평가 지표의 다각화로 LLM의 문화 이해를 타당하게 측정하는 실용적이고 이론적인 토대를 마련한다.
more초록(요약문)
Evaluating the cultural knowledge of large language models （LLMs） and large reasoning models （LRMs） has achieved remarkable progress through multiple-choice question answering （MCQA） benchmarks. However, existing approaches fail to validly measure how much cultural knowledge a model has actually acquired when they rely on accuracy as a single metric. This limitation arises because benchmarks adopt incompatible taxonomies of culture, because item-writing guidelines established for human examinees cannot be directly applied to context-dependent cultural questions, and because most evaluation resources are small, hand-crafted datasets that cannot be used for training. The emergence of LLM and LRM agents with instruction-following and reasoning capabilities presents the possibility of addressing this limitation. This dissertation proposes a multi-step cultural agent augmentation methodology, which automatically expands a small set of expert-written seed questions across cultural dimensions and question formats with stage-wise verification. The approach unifies divergent cultural taxonomies into ideational, linguistic, and social components, reclassifies nineteen item-writing rules into four groups to apply only those valid for model evaluation, and generates context-dependent questions whose context, question stem, and options are separated into independent slots, thereby allowing the same question to be transformed into multiple evaluation conditions. This enables a diversified evaluation that augments accuracy with context dependence and the NOTA-shortcut selection rate. Extensive experiments evaluate ten commercial models and eight open models whose reasoning generation can be toggled, using public cultural MCQA-style benchmarks together with benchmarks generated by the proposed method. The evaluation reveals accuracy saturation, with commercial models converging between 94.1% and 96.0% when context is provided, while separately measuring a drop of up to 44.6 percentage points in accuracy and an increase in the rate of shortcut solving when context is removed. These results demonstrate that the proposed evaluation distinguishes the distortions introduced by question format, context, and scoring, which single-metric accuracy evaluation conceals. Furthermore, context-condition transformations and the NOTA-shortcut metric reveal that models fail to perform context-based interpretation and instead rely on surface cues, and that the accuracy gains from fine-tuning on cultural data disappear once context is removed, indicating adaptation to question format. This work provides a practical and theoretical foundation for validly measuring the cultural understanding of large language models through diversified question design and evaluation metrics, eliminating the need for the large-scale expert manual labor that prior methods required.
more목차
제 1 장 서론 1
1.1 연구 배경과 한계 2
1.2 문제의 형식화 3
1.3 보완적 기회 5
1.4 기술적 난제 5
1.4.1 주요 설계 선택 5
1.4.2 기존 접근법의 품질-규모 trade-off 6
1.5 연구 목표 7
1.6 연구 접근법 8
1.7 기여 8
1.8 논문 구성 9
제 2 장 배경 및 관련 연구 10
2.1 문화의 정의와 분류 체계 10
2.1.1 인류학과 사회과학의 고전적 문화 정의 10
2.1.2 자연어처리의 초기 문화 분류와 대리지표 10
2.1.3 세분화된 분류 체계와 통합의 필요성 11
2.2 MCQA 문화 벤치마크와 item-writing rubric 12
2.2.1 MCQA 문화 벤치마크 12
2.2.2 item-writing rubric과 문항 품질 분석 12
2.2.3 자동 증강과 문화 정렬 학습 13
2.3 기존 연구의 한계 분석 14
2.4 요약 14
제 3 장 맥락 의존형 문항 설계와 데이터 구축 16
3.1 개요와 설계 원칙 16
3.2 K-Culture-Desc: 다단계 에이전트 기반 문항 생성 17
3.2.1 문화 현상 설명문 작성 18
3.2.2 시나리오 및 문제 생성 에이전트 19
3.2.3 선택지 설계 에이전트 20
3.2.4 검증 에이전트 21
3.3 K-MicroAgg: 심층 층위 평가를 위한 전문가 시드 기반 증강 벤치마크 24
3.4 맥락 의존형 문항의 적합도 검증 25
3.5 슬롯 구조 기반 평가 조건 구성 26
3.5.1 슬롯 구조 26
3.5.2 조건 변형 26
3.5.3 채점 절차와 추론 과정 수집 27
3.6 이미지 맥락 기반 CCA 학습 데이터 구축 28
3.6.1 개념 수집과 메타데이터 작성, 이미지 수집 29
3.6.2 임베딩 기반 이미지-텍스트 정합 검증 30
3.6.3 문항 생성 규칙과 7가지 기준 검증 30
3.6.4 학습 방법론 31
3.6.5 규모 효율성과 전이 검증 설계 32
3.7 관련 접근법과의 비교 33
3.7.1 사람 수작업 구축 자원과의 비교 33
3.7.2 대규모 자동 수집 학습 데이터와의 비교 33
3.8 요약 34
제 4 장 실험 및 분석 35
4.1 실험 설계 35
4.1.1 실험 프로토콜 35
4.1.2 재현성 36
4.1.3 평가 지표 36
4.2 데이터셋 37
4.2.1 학습 데이터 37
4.2.2 평가 데이터 37
4.3 비교 대상 38
4.3.1 평가 방법 38
4.4 맥락 의존형 문항 정확도 분석 39
4.4.1 with-context 조건의 정확도 포화 39
4.4.2 LLM 맥락 의존도의 측정 40
4.5 NOTA 조건의 shortcut 풀이와 평가 기준의 다각화 42
4.5.1 nonthinking 조건의 shortcut 발생 비율 측정 42
4.5.2 문화 층위별 shortcut 발생 비율 분석 44
4.5.3 다각화된 평가 기준에 따른 모델 우열 분석 45
4.6 사후학습은 문화 지식을 주입하는가 47
4.6.1 다국어 벤치마크 정확도의 향상 47
4.6.2 질문 유형별 미세조정 효과 분해 48
4.6.3 미세조정 모델의 맥락 의존형 벤치마크 성능 보고 48
4.6.4 맥락 조건별 shortcut 강화 분석 50
4.7 분석 및 논의 52
4.7.1 정확도 단독 평가의 한계 52
4.7.2 LLM 판정자의 신뢰성 53
4.8 요약 53
제 5 장 결론 55
5.1 기여 요약 55
5.2 주요 발견 57
5.3 한계 57
5.4 향후 연구 방향 59
5.5 함의 60
5.6 맺음말 61
제 6 장 부록: 보조 표와 그림 62
6.1 상용 모델 10종의 상세 정확도 62
6.2 공개 모델 8종의 맥락 조건별 정확도와 shortcut 선택 62
6.3 CLIcK 카테고리와 프롬프팅추론 모드의 상세 62
References 72
