검색 상세

확률적 셀프어텐션 추천시스템의 성능 개선

Performance Improvement of Stochastic Self-Attention Recommendation Systems

  • 김유진 (서강대학교 일반대학원)

초록 (요약문)

본 논문에서는 사용자에 대한 상품 추천을 위해 이용되는 추천시스템의 성능개선 방법에 대하여 살펴본다. 본 논문에서는 Fan 등(2022)이 제안한 확률적 셀프어텐션(Stochastic Self Attention) 추천시스템 알고리즘 STOSA의 개선방안에 대하여 고려한다. Vaswani 등(2017)이 제안한 Transformer는 순차성을 갖는 문장의 정보를 해석하여 문장을 번역하는 작업을 수행하는 심층신경망으로 BERT, GPT 등 주요 인공신경망으로 응용되고 있다. 여러 가지 방식의 추천시스템 중 Kang과 McAuley(2018)가 제안한 SASRec 알고리즘은 Transformer의 핵심 구조인 셀프어텐션을 이용한 시퀀스 추천 방식의 알고리즘이다. Fan 등(2022)은 추천시스템의 콜드스타트 문제를 해결하기 위하여 SASRec 알고리즘의 임베딩 과정에서 확률적 임베딩 방법을 도입한 Stochastic Self Attention (STOSA) 알고리즘을 제안하였다. Fan 등(2022)이 제안한 STOSA 알고리즘에서는 셀프어텐션 과정에서 임베딩 벡터 사이의 확률적 거리를 계산하기 위하여 Wasserstein 거리 (WS 거리)를 이용하였다. 본 논문에서는 WS 거리를 이용하는 STOSA 알고리즘, Kullback-Leibler divergence를 이용하는 경우의 STOSA 알고리즘 (STOSA_KL), Hellinger 거리를 이용한 알고리즘 (STOSA_HL)을 고려하여 Fan 등(2022)의 논문에서 실험한 것과 동일한 조건을 사용하여 세 가지 알고리즘의 성능을 비교하였다. 성능을 비교한 결과, Fan 등(2022)의 논문에서와 달리 STOSA_KL의 성능이 가장 우수한 것으로 나타났고, 그 다음으로 기존 알고리즘인 STOSA의 성능이 좋았고, STOSA_HL의 성능이 가장 낮게 나왔다. 각 알고리즘들 사이에서의 성능의 차이는 시험된 다양한 데이터와 여러 경우의 실험 파라미터 설정값들에 대하여 어느 정도 일관성 있는 결과를 보였다. 본 연구에서는 STOSA_KL의 성능의 우월성을 이론적으로 밝히지는 못하였다. 향후 확률적 임베딩을 사용한 심층신경망에서 확률적 거리 계산 방법에 따른 성능 변화에 대한 깊이 있는 연구가 추가적으로 필요할 것으로 보인다.

more

초록 (요약문)

This thesis explores methods to improve the performance of recommendation systems used for suggesting products to users. Specifically, it considers enhancements to the Sequential Recommendation via Stochastic Self-Attention (STOSA) algorithm proposed by Fan et al. (2022). The Transformer, introduced by Vaswani et al. (2017), is a deep neural network designed to interpret the sequential information in sentences for tasks such as translation. It serves as the foundation for major neural networks like BERT and GPT. Among various recommendation system approaches, the SASRec algorithm, proposed by Kang and McAuley (2018), leverages the self-attention mechanism, which is a core component of the Transformer, for sequential recommendation tasks. To address the cold-start problem in recommendation systems, Fan et al. (2022) proposed the Sequential Recommendation via Stochastic Self-Attention (STOSA) algorithm, which introduces a stochastic embedding approach in the embedding process of the SASRec algorithm. STOSA employs the Wasserstein distance to compute probabilistic distances between embedding vectors during the self-attention process. In this study, we consider three algorithms: the original STOSA algorithm using Wasserstein distance, a modified version of STOSA using Kullback-Leibler divergence (STOSA_KL), and another variant utilizing Hellinger distance (STOSA_HL). We conducted performance comparisons under conditions identical to those in Fan et al. (2022). The results reveal that, contrary to the findings of Fan et al. (2022), STOSA_KL demonstrates the best performance, followed by the original STOSA algorithm, while STOSA_HL shows the lowest performance. The performance differences among the algorithms were consistent across various datasets and most of the experimental parameter settings. Although this study does not theoretically explain the superior performance of STOSA_KL, the findings suggest a need for further in-depth research into the impact of probabilistic distance computation methods on performance in deep neural networks employing stochastic embeddings.

more

목차

제 Ⅰ 장 서 론 1
제 Ⅱ 장 이론적 배경 및 기존 연구 5
제 1 절 추천시스템 5
1. 일반 추천 5
2. 시간 기반 추천 6
3. 시퀀스 추천 7
제 2 절 SASRec과 STOSA 9
제 Ⅲ 장 제안 방법 12
제 1 절 확률적 거리의 정의 12
1. 거리척도와 차이에 대하여 12
2. Wasserstein 거리 13
3. Kullback-Leibler 차이 16
4. Hellinger 거리 18
제 2 절 셀프어텐션과 확률적 셀프어텐션 20
1. 어텐션과 셀프어텐션 20
2. 확률적 셀프어텐션 및 제안 방법 22
제 IV 장 성능 비교 27
제 1 절 Amazon Reviews 데이터 27
제 2 절 성능 평가 척도 29
1. Hit Ratio 30
2. Mean Reciprocal Rank 30
3. Normalized Discounted Cumulative Gain 31
제 3 절 성능 평가 33
1. 평가 방법 33
2. 평가 결과 34
제 V 장 결 론 39
참고문헌 41

more
반출 Meta View 목록