| Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation | MM '22 | 2022 |
🌟 背景
跨域顺序推荐（Cross-Domain Sequential Recommendation, CDSR）旨在通过挖掘和转移用户在不同领域的顺序偏好来缓解冷启动问题。传统的CDSR模型主要通过用户和物品建模来捕捉协同信息，却忽略了物品特征中蕴含的丰富语义信息。近年来，大语言模型（Large Language Model, LLM）在语义推理方面展现出强大能力，这促使我们将其引入CDSR中以更好地捕捉语义信息.
🛠️ 相关工作
- 顺序推荐：从最初的马尔可夫链和矩阵分解，到基于神经网络的方法如GRU4Rec、Caser，再到注意力机制和图神经网络（GNNs）的应用，顺序推荐技术不断发展.
- 跨域顺序推荐：早期工作如𝜋-Net和PSJNet通过设计知识转移模块来捕捉跨域用户偏好，后续工作如MIFN和DA-GCN利用GNNs建模跨域的高阶关系.
- 基于LLM的推荐系统：LLMs被广泛应用于推荐系统中，以利用物品文本特征和增强推荐性能，如CHAT-REC和GPT4Rec等.
🧬 模型图输入输出转变
- 输入：用户在两个产品集中的交互序列，包括电影和游戏等不同领域的物品.
- 输出：预测用户在目标领域中可能感兴趣的新物品，如推荐给喜欢冒险电影的用户一款冒险游戏.
🛠️ 方法介绍
- 双图序列建模模型：结合LLM增强的物品-属性图和物品-物品序列图，捕捉协同和结构-语义信息.
- 用户检索-生成模型：通过KNN检索器检索目标领域中与用户最相似的用户，并将结构化文本与协同信息无缝融合到LLM中.
- 领域差异化策略和答案精炼模块：确保输入和生成的输出在特定领域内，提升模型的领域特定生成能力.
🚀 创新点
- 用户检索范式：首次从用户检索的角度研究CDSR，实现信息的无缝整合和领域特定生成.
- 双图序列建模与LLM的交互：开发了一种新的用户检索与双图序列建模模型之间的交互范式，实现结构-语义和协同信息的无缝整合.
- 领域差异化策略和精炼模块：引入领域差异化策略和精炼模块，确保用户信息和生成结果针对特定领域，实现领域特定生成.
📊 实验
实验在Amazon平台的两个公开数据集上进行：电影-游戏和艺术-办公。使用Mean Reciprocal Rank（MRR）、Normalized Discounted Cumulative Gain（NDCG）和Hit Rate（HR）等指标评估模型性能。结果表明，URLLM在冷启动和热启动场景下均优于现有基线方法.
📈 结论
URLLM通过用户检索和大语言模型的集成，有效地解决了CDSR中的冷启动问题和跨域信息对齐挑战，为基于LLM的CDSR研究提供了新的思路和方法.