멀티태스크 LLM 기반 정책 반영 여부 예측 성능 향상을 위한 랜덤포레스트 활용에 관한 연구
Multi-task LLM-based Method for Policy Adoption Prediction with Random Forest Integration
- 주제어 (키워드) 대형 언어모델 , 랜덤포레스트 , 정책 반영 예측 , 공공정책 인공지능 응용 , 미세조정 , 멀티태스크 학습 , 프롬프트 엔지니어링 , 해석 가능한 인공지능 , Large Language Model , LLM , Random Forest , Policy Adoption Prediction , AI in Public Policy , Fine-tuning , Multi-task Learning , Prompt Engineering , Explainable AI , XAI , QLoRA , Focal Loss
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 김영재
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 AI.SW대학원 데이터사이언스 · 인공지능
- 실제 URI http://www.dcollection.net/handler/sogang/000000081740
- UCI I804:11029-000000081740
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
정책 반영 여부를 사전에 예측하는 것은 정책 기획 과정에서 자원과 노력을 효과적으로 집중시키고, 정책 내용을 사전에 개선하는 데 중요한 역할을 한다. 이러한 예측은 정책의 실현 가능성을 높이는 데에도 기여할 수 있어, 정책 관련 연구에서 중요한 주제로 간주된다. 기존 연구들은 회귀 분석이나 T검정, 전통적인 머신러닝 기법 등을 활용하여 정책 반영 가능성을 분석하였으나, 주로 정형화된 변수와 선형 관계에 의존하여 정책 제안서의 언어적 맥락과 의미를 충분히 반영하지 못하는 한계가 있었다. 본 연구는 대형언어모델(LLM)의 언어 이해 능력과 비정형 데이터 처리 능력을 정책 반영 예측 문제에 적용하고자 하였다. 특히, 랜덤포레스트를 통해 도출된 예측값과 변수 중요도를 LLM 프롬프트에 보조 정보로 포함시키고, 분류 및 회귀 태스크를 동시에 수행하는 멀티태스크 학습을 QLoRA 기반으로 수행하였다. 또한, 분류 태스크에 Focal Loss를 적용하여 데이터 불균형 문제를 완화하고, 분류 손실 가중치를 조정하여 모델의 예측 정밀도를 향상시켰다. 실험 결과, 제안한 모델은 기존 기법 대비 정책 반영 여부 예측 성능이 안정적으로 향상되는 것을 확인하였으며, LLM의 생성 기능을 활용하여 예측 결과에 대한 설명과 반영 가능성 제고를 위한 전략적 제언까지 도출할 수 있었다. 따라서 본 연구는 단순한 예측을 넘어, 정책 제안자가 실질적인 전략 수립에 활용할 수 있는 지능형 지원 도구로의 가능성을 제시하였다는 점에서 이론적·실무적으로 의미가 있다.
more초록 (요약문)
Policy proposals often lack reliable indicators that show whether they are likely to be adopted. This absence leads to inefficient use of planning resources and missed chances for early refinement. To address this issue, this study introduces an AI-based method that improves the accuracy of policy adoption forecasts. Previous research mostly applied regression analysis, t-tests, or traditional machine learning techniques. These methods work well with structured data but often miss the deeper meanings and complex structures found in policy texts. To overcome this problem, a hybrid system was developed. It combines structured data with contextual knowledge. Outputs from a Random Forest model including predicted values and feature importance are used to construct the input for a LLM. The system was fine-tuned with QLoRA to carry out both classification and regression. To correct data imbalance, Focal Loss was applied to classification. Its loss weight was set higher than the regression component to emphasize classification performance. Results show that the proposed method produces more stable and accurate predictions than baseline models. In addition, the LLM can explain the results and suggest possible strategies to improve the chance of adoption. This research presents a practical AI-based support system that helps policy designers create more effective proposals.
more목차
제 1 장 서론 1
제 1 절 연구 배경 1
제 2 절 연구 목표 및 방법 3
제 3 절 논문 구성 4
제 2 장 관련 연구 5
제 1 절 정책 반영 결정 요인 5
제 2 절 머신러닝과 LLM의 사회과학 적용 8
제 3 절 LLM 최적화 및 경량화 기법 12
(1) 프롬프트 엔지니어링 12
(2) 미세조정 13
제 4 절 멀티태스크 학습 14
제 5 절 멀티태스크 학습 최적화 기법 15
(1) 가중치 조정 15
(2) Focal Loss 16
제 3 장 모델 설계 및 구현 17
제 1 절 모델 프레임워크 17
제 2 절 데이터 수집 및 전처리 19
제 3 절 랜덤포레스트 기반 예측 및 변수 중요도 23
제 4 절 프롬프트 엔지니어링 26
제 5 절 멀티태스크 LLM과 미세조정 30
제 4 장 연구 결과 34
제 1 절 성능 평가 방법 34
제 2 절 연구모델 실험 결과 및 성능 평가 결과 34
(1) 멀티태스크 LLM 학습 과정 34
(2) 랜덤포레스트 단독 모델 36
(3) 멀티태스크 LLM 단독 모델 37
(4) 멀티태스크 LLM 및 랜덤포레스트 결합 모델 38
제 3 절 연구 결과 및 성능 평가 결과 요약 40
제 4 절 실제 사례 기반 실험 결과 및 해석 42
제 5 장 결론 및 향후 연구 46
참고 문헌 48
