LLM-GRec: 그래프 협업 필터링을 활용한 LLM 기반 추천 시스템
LLM-GRec: LLM-based Recommendation with Graph Collaborative Filtering
- 발행기관 서강대학교 일반대학원
- 지도교수 정성원
- 발행년도 2026
- 학위수여년월 2026. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000082316
- UCI I804:11029-000000082316
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
최근 대규모 언어 모델(LLM)을 추천 시스템에 활용하는 연구가 활발히 진행 되고 있다. 이러한 연구들은 대부분 사용자의 상호작용 시퀀스를 모델링하는 순차적 추천 방식을 기반으로 하며, LLM-SRec은 순차적 추천 모델인 SASRec을 teacher로 사용하여 LLM에 지식을 증류하는 방식을 제안하였다. 그러나 본 연 구에서는 "LLM 기반 추천에서 순차적 teacher가 정말 필요한가?"라는 질문을 제기하고, 비순차적 그래프 기반 협업 필터링 모델인 LightGCN을 teacher로 활용하는 LLM-GRec을 제안한다. LLM-GRec은 LightGCN의 사용자-아이템 임베딩 을 2단계 투영 네트워크를 통해 LLM 입력 공간으로 변환하고, cosine similarity와 MSE를 결합한 지식 증류 손실을 통해 협업 필터링 지식을 LLM에 전달한다. 또한 하이브리드 히스토리 샘플링과 평점 기반 만족도 표현을 통해 비순차적 teacher의 특성과 일관된 프롬프트를 구성한다. Amazon Reviews 2023 데이터셋의 세 가지 도메인에서 수행한 실험 결과, LLM-GRec은 기존 LLM-SRec 대비 HR@10에서 7.8%~9.3%의 성능 향상을 달성하였다. 하이브리드 샘플링은 최근 아이템만 사용하는 방식 대비 최대 3.1%의 추가 향상을 보였으 며, 품질 중심 평가에서도 고 평점 아이템에 대한 우수한 예측 성능을 확인하 였다. 본 연구는 LLM 기반 추천에서 순차적 모델링이 항상 필요하지 않음을 실증적으로 보였으며, 이는 향후 도메인 특성에 맞는 적절한 teacher 모델 선 택이 중요함을 시사한다. Keywords: 추천 시스템, 대규모 언어 모델, 협업 필터링, 그래프 신경망, 지 식 증류, 임베딩 투영, LightGCN
more초록(요약문)
Recent research has actively explored the use of large language models (LLMs) in recommendation systems. Most of these studies are based on sequential recommendation approaches that model user interaction sequences, and LLM-SRec proposed a method that distills knowledge into LLMs using the sequential recommendation model SASRec as a teacher. However, this study raises the question: "Is a sequential teacher really necessary for LLM-based recommendation?" and proposes LLM-GRec, which utilizes LightGCN, a non-sequential graph-based collaborative filtering model, as a teacher. LLM-GRec transforms LightGCN's user-item embeddings into the LLM input space through a two-stage projection network and transfers collaborative filtering knowledge to the LLM via a knowledge distillation loss that combines cosine similarity and MSE. Additionally, it constructs prompts consistent with the non-sequential teacher's characteristics through hybrid history sampling and rating-based satisfaction expressions. Experimental results on three domains from the Amazon Reviews 2023 dataset show that LLM-GRec achieves 7.8%–9.3% improvement in HR@10 compared to LLM-SRec. Hybrid sampling showed up to 3.1% additional improvement over using only recent items, and quality-focused evaluation confirmed superior prediction performance for high-rated items. This study empirically demonstrates that sequential modeling is not always necessary for LLM-based recommendation, suggesting the importance of selecting teacher models appropriate to domain characteristics in future LLM-based recommendation research. Keywords: Recommendation System, Large Language Model, Collaborative Filtering, Graph Neural Network, Knowledge Distillation, Embedding Projection, LightGCN
more목차
제 1 장 서 론 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 1
제 2 장 관련연구 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 4
2.1 협업 필터링 기반 추천 시스템 ㆍㆍㆍ ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 4
2.2 순차적 추천 시스템 ㆍㆍㆍ ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 5
2.3 LLM 기반 추천 시스템 ㆍㆍㆍ ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 6
제 3 장 제안 방법론: LLM-GRecㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 8
3.1 전체 프레임워크 개요 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 8
3.2 Teacher 모델: LightGCN ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 10
3.3 LLM-GRec 모델 구조 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 11
3.3.1 임베딩 투영 네트워크ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 11
3.3.2 LLM 백본 및 학습 가능 파라미터ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 14
3.4 프롬프트 구성ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 15
3.5 학습ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 18
3.6 데이터 품질 개선 전략ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 21
3.7 추론ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 22
제 4 장 실험 및 성능평가ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 24
4.1 실험 설정ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 24
4.1.1 실험환경 및 하이퍼 파라미터 설정ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 24
4.1.2 데이터셋ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 25
4.1.3 데이터 분리ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 27
4.1.4 평가 지표ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 27
4.1.5 비교 모델ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 28
4.1.6 실험 변수ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 29
4.2 실험 결과ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 29
4.2.1 RQ1: 비순차적 Teacher의 효과ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 29
4.3 Ablation Studyㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 32
4.3.1 RQ2: 히스토리 샘플링의 효과ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 32
4.3.2 RQ3: 품질 중심 평가ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 33
4.3.3 RQ4: 데이터 필터링의 효과ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 35
4.3.4 지식 증류 손실 가중치 분석（α）ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 37
제 5 장 결 론 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 39
5.1 연구 요약ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 39
5.2 주요 기여ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 40
5.3 한계점 및 향후 연구ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 40
참고문헌 ㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍㆍ 42
