확률적 Transformer 심층신경망을 이용한 추천시스템의 성능 개선
- 주제어 (키워드) 추천시스템 , 확률적 셀프어텐션 , 변분 다이버전스 , 아마존 리뷰 데이터 , Recommendation Systems , Stochastic Self-Attention , Variational Divergence , Amazon Reviews Data
- 발행기관 서강대학교 일반대학원
- 지도교수 이윤동
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 박사
- 학과 및 전공 일반대학원 경영학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000081841
- UCI I804:11029-000000081841
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
최근 사용자 행동 특성을 반영하는 시퀀스방식 추천시스템이 주목받고 있다. 시퀀스방식 추천시스템은 사용자별로 선택하는 상품의 패턴을 파악하여 향후 선택할 상품을 추천하는 방법이다. SASRec 사용자가 선택하는 상품의 패턴을 파악하기 위하여 Transformer 심층신경망을 이용하고 있다. Fan, 등(2022)이 제안한 STOSA (Stochastic Self- Attention) 모형은 Transformer에서의 임베딩 층을 확률적으로 모형화하여 모형의 유연성을 증가시킨 방법이다. Fan, 등(2022)은 STOSA 모형에서 확률적 임베딩 층 사이의 거리를 계산하기 위한 방법으로 Wasserstein 거리(WS거리)를 채용하였다. 김유진(2024)은, WS 거리를 채용한 STOSA 모형(STOSA_WS)과 달리, WS거리 대신 Kullback- Leibler 다이버전스(KL다이버전스)를 채용하는 STOSA_KL 모형을 제안하였고, Amazon 데이터에서의 실험을 통하여, STOSA_KL 모형이 STOSA_WS 모형에 비하여 크게 우수한 성능을 갖게 된다는 점을 확인하였다. 본 연구는 STOSA 모형에서, 기존에 검토되었던 WS거리, KL다이버전스, Hellinger 거리 외에, 추가로 변분 다이버전스 (Variational Divergence), 그리고 변분 다이버전스의 구성요소를 조합하여 만든 합성 다이버전스 (Synthetic Divergence)를 적용하는 새로운 모형을 제안한다. 새로운 모형을 Amazon Review 데이터에 적용한 결과, HIT@k, NDCG@k, MRR 등 다양한 추천시스템에 대한 평가 지표 측면에서 일관되게 기존 모형 보다 우수한 성능을 보였다. 이는 확률적 셀프어텐션 메커니즘에서 다이버전스 선택이 모델 성능에 중요한 영향을 미친다는 점을 다시 확인하는 것이다. 또 변분 다이버전스 VD와 합성 다이버전스 SD를 이용하는 경우가 기존에 제안된 WS거리와 KL다이버전스를 이용하는 경우에 비하여, 확률적 트랜스포머를 이용한 시퀀스 추천방식의 성능을 효과적으로 개선시킬 수 있음을 의미한다.
more목차
국문초록 v
제 Ⅰ 장 서론 1
제 Ⅱ 장 다이버전스에 대하여 3
제 1 절 확률적 거리와 다이버전스 4
제 2 절 다양한 거리와 다이버전스 5
제 3 절 변분 다이버전스 15
제 Ⅲ 장 심층신경망에 대하여 22
제 1 절 회귀분석과 MLP 22
제 2 절 CNN과 RNN 28
제 3 절 Transformer 39
제 IV 장 추천시스템에 대하여 50
제 1 절 추천시스템의 유형과 발전방향 50
제 2 절 심층신경망을 이용한 추천시스템과 G-NCF 52
제 V 장 시퀀스추천과 확률적 Transformer 57
제 1 절 시퀀스추천에 대하여 58
제 2 절 확률적 Transformer와 성능개선 61
제 3 절 Amazon 데이터에서의 성능 비교 64
제 VI 장 결 론 79
참고문헌 81
영문초록 85
