网站外包公司_龙岩网店运营招聘_免费b站推广网站在线_杭州优化公司多少钱

论文笔记-CIKM2024-Large Language Models Enhanced Collaborative Filtering

LLM-CF: 大语言模型增强协同过滤
摘要
1.引言
2.前言
3.LLM-CF离线服务
4.LLM-CF在线服务
5.实验
- 5.1实验设置
- 5.2实验结果
- - 5.2.1CTR推荐
  - 5.2.2检索任务
- 5.3消融实验
6.结论

LLM-CF: 大语言模型增强协同过滤

论文下载链接: Large Language Models Enhanced Collaborative Filtering
代码: LLM-CF

摘要

现有的研究主要利用大语言模型（LLMs）生成知识丰富的文本，或利用基于大语言模型的嵌入作为特征来改善推荐系统。虽然LLM中广泛的世界知识通常对推荐系统有益，但这种应用只能将有限数量的用户和项目作为输入，而不能充分利用协同过滤信息。

本文受LLM的上下文学习和思维链推理CoT的启发，提出了大语言模型增强协同过滤框架LLM-CF，该框架将LLM的世界知识和推理能力提炼到协同过滤中。此外，本文还探索了一种简洁高效的指令微调方法，该方法提高了LLM的推荐能力，同时保留了其通用功能。

1.引言

当前的大模型推荐主要分为两类：LLMs作为推荐系统和LLM增强的推荐系统，本文主要关注LLM增强的推荐系统。

在这里插入图片描述
本文提出的LLM-CF如图1所示，分为两部分：

离线服务部分：微调LLM以增强其推荐能力，生成带有协同过滤信息的链式推理，并构建上下文链式推理数据集。
在线服务部分：检索上下文链式推理示例，学习世界知识和推理引导的协同过滤特征，并使用该特征来增强现有的推荐系统。

主要贡献如下：

本文是使用基于LLM的世界知识和推理来指导协同过滤特征的开创性工作，增强了传统的推荐模型。
提出的LLM-CF受LLM的上下文学习和思维链推理的启发，将LLM的世界知识和推理能力以上下文思维链的方式有效地提炼到传统的推荐模型中。
LLM-CF将LLM生成与推荐系统的在线服务解耦，与现有的LLM增强RSs相比效率更高。

2.前言

本文将推荐任务定义为使用多字段分类数据的二分类问题。数据集 $D = \{(x_n, y_n)\}_{n=1}^N$ 包含推荐特征 $x_i$ 和二元标签 $y_i$ 的配对。推荐特征包括用户特征（例如，用户 ID、性别、年龄）和物品特征（例如，物品 ID、品牌）。标签 $y_i$ 表示点击（1）或未点击（0）。目标是学习一个带有参数 $\theta$ 的函数 $f(\cdot)$ ，以预测每个 $x_i$ 的点击概率 $\hat{y_i} = f(x_i; \theta)$ 。

为了满足大语言模型的要求，本文遵循指令提示的要求，该提示涉及从推荐特征 $x_i$ 中提取文本格式的推荐特征 $x_i^t$ ，并将其组织为“任务指令”。该指令指导LLM判断用户是否可能对目标物品感兴趣，基于用户的历史交互和其他用户特征。LLM生成二元响应“是”或“否”，其中“是”表示积极交互（点击），而“否”表示消极交互（未点击）。
在这里插入图片描述
LLM-CF的概述如图2所示。提议的LLM-CF可以分解为离线服务部分（§ 3）和在线服务部分（§ 4）。

3.LLM-CF离线服务

LLM-CF的离线服务部分包括以下流程：

RecGen-LLaMA的训练：提出一种简洁且高效的全参数指令微调方法，该方法将推荐数据与一般指令微调数据结合，优化了模型的一般能力和推荐能力之间的平衡。通过将此方法应用于广泛使用的LLaMA2，训练RecGen-LLaMA，实现了一般能力和推荐能力之间的最佳平衡。
CoT推理生成：对于推荐数据 $(x_i, y_i) \in D$ ，设计了一个zero-shot CoT提示，该提示将用户-物品交互分解并重新构建，进而引导RecGen-LLaMA根据推荐特征的文本表示 $x_t$ 生成CoT推理 $c$ 。这些 $\{c_1, \ldots, c_m, \ldots, c_M\}$ 以及原始推荐数据共同构成了上下文CoT数据集 $C = \{(x_m, c_m, y_m)\}_{m=1}^M$ 。

4.LLM-CF在线服务

LLM-CF的离线服务部分包括以下流程：

上下文CoT示例检索：检索过程涉及寻找与当前推荐数据相似的前 $K$ 个历史推荐示例，以提供明确的协同过滤信息。这包括从 $C$ 中识别出 $I_i = \{(x_k, c_k, y_k)\}_{k=1}^K$ ，这些推荐数据与当前推荐数据相似，并且包含了包含世界知识和协同过滤信息的链式推理 $c_k$ 。
上下文链式推理（ICT）模块：受到 LLM 中上下文学习和链式推理成功的启发，将 $I_i$ 作为上下文链式推理示例，将 $x_i$ 作为查询。通过使用变换器解码器层进行上下文链式推理学习，学习世界知识和推理引导的协同过滤特征 $w_i$ ，以与模型无关的方式增强基础推荐模型。
训练：在训练阶段，本文为上下文示例中的链式推理设计了重构损失，以进一步增强 ICT 模块生成的协同过滤特征中包含的世界知识和推理能力。

5.实验

5.1实验设置

数据集：Amazon的三个子集Sports & Outdoors, Beauty, 和Toys & Games。

基线：DeepFM、xDeepFM、AutoInt、DCNv1、DCNv2和 DIN。

评估指标：AUC、LogLoss和 RelaImpr。

5.2实验结果

5.2.1CTR推荐

在这里插入图片描述

结论：

LLM-CF在真实世界数据集上的所有评估指标上均优于相应的基础模型。
LLM-CF的表现优于其他利用LLMs来增强推荐模型的框架（即 KAR 和 KD）。与LLM-CF相比，KAR忽视了协同过滤信息的重要性，仅考虑当前用户和物品特征来增强推荐模型，并且未使用经过推荐数据微调的LLM。KD的次优表现主要是因为LLM的训练目标是对所有标记使用交叉熵损失，而基础推荐训练主要涉及二元交叉熵损失，导致优化目标不一致。

5.2.2检索任务

LLM-CF是多功能的，不仅适用于排名阶段的模型，也适用于检索阶段的模型。本节对检索模型（如 SASREC、YoutubeDNN、GRU4REC和 SRGNN）应用了LLM-CF，并在四个排名指标上实验验证了其有效性。
在这里插入图片描述

结论：LLM-CF 提升了基础检索模型的性能，进一步验证了通过世界知识和推理增强的协同过滤特征的多功能性。

5.3消融实验