当前位置：首页 > news >正文

WWW 2025 | 中南、微软提出端到端双重动态推荐模型，释放LLM在序列推荐中的潜力...

news 来源：原创 2025/5/21 23:50:37

©PaperWeekly 原创 · 作者 | 殷珺

单位 | 中南大学硕士研究生

研究方向 | 大语言模型、推荐系统

论文题目：

Unleash LLMs Potential for Sequential Recommendation by Coordinating Dual Dynamic Index Mechanism

论文链接：

https://openreview.net/pdf?id=GE71TxvTH3

代码链接：

https://github.com/Esperanto-mega/ED2

论文录用：

The ACM Web Conference Research Track 2025 (Oral)

摘要

由于大型语言模型（Large Language Models，LLMs）在语义理解和逻辑推理方面表现出前所未有的能力，它们在下一代序列推荐系统（Recommender Systems，RSs）的开发中展现出了巨大的潜力。

然而，现有的基于 LLM 的序列推荐系统大多将索引生成与序列推荐分离，这导致语义信息与协同信息的融合不够充分。此外，对用户相关信息的忽视限制了基于 LLM 的序列推荐系统对高阶用户-物品交互模式的挖掘。

为了解决上述问题，我们提出了端到端双重动态（End-to-End Dual Dynamic, ED²）推荐模型，这是首个采用双重动态索引机制的基于 LLM 的序列推荐系统。该机制不仅能够将索引生成和序列推荐整合到统一的 LLM 主干流程中，还使得基于 LLM 的序列推荐系统能够有效利用用户相关信息。

具体而言，为了提升 LLM 对双重动态索引的理解能力，我们提出了一种多粒度 Token 调节器，该调节器基于 LLMs 的语义知识，在多个表示粒度上构建对齐监督。此外，我们特别设计了用户集合数据及一系列新颖的指令微调任务，以捕捉高阶用户-物品交互模式。

在三个公开数据集上的广泛实验表明，ED² 的性能优越，在命中率（Hit-Rate）上平均提升 19.62%，在归一化折损累计增益（NDCG）上平均提升 21.11%。

动机

尽管取得了显著成就，当前基于 LLM 的序列推荐系统仍然面临以下局限：

（i）静态索引机制限制了 LLM 对语义信息和协同信息的融合。如图 1b 所示，现有的基于 LLM 的序列推荐系统大多采用静态索引机制，将索引生成过程与序列推荐过程分离。

在推荐系统优化过程中，静态索引保持不变，因此无法考虑物品之间的协同相似性。例如，电影《变形金刚》（2007年7月3日）与教学视频《Transformer详细讲解》（2021年10月28日）在文本内容上高度相似，但在用户交互记录中的重叠度却极低。

（ii）忽视用户相关信息，限制了 LLM 对高阶用户-物品交互模式的挖掘。如图 1b 所示，大多数主流的基于 LLM 的序列推荐系统（如 FDSA、TIGER 和 LC-Rec）仅依赖物品相关信息（即物品文本内容和交互物品序列）进行下一个物品的预测，而不考虑用户相关信息。这使得基于 LLM 的序列推荐系统难以捕捉和利用高阶用户-物品交互模式。

在传统的序列推荐系统中，高阶用户-物品交互模式至关重要，并对推荐结果有着巨大贡献。例如，用户共同购买模式（co-purchase pattern）能够识别出具有相似兴趣的用户，而用户偏好模式（user preference pattern）则反映了用户在长时间跨度上的一致性喜好。

方法

3.1 端到端双重动态语义推荐系统

端到端双重动态（ED²）推荐模型由共享的 LLM 主干网络和双重动态索引生成器组成。共享的 LLM 主干网络负责理解用户/物品的文本特征，并推理序列推荐结果。双重动态索引生成器能够将 LLM 主干网络提供的用户/物品表示量化为离散索引。

具体而言，语义信息首先在 LLM 主干网络的帮助下从文本内容中提取，然后通过双重动态索引生成器压缩为紧凑的索引，最终通过面向序列推荐的微调与协同信息融合。

3.1.1 语义信息提取

为了充分利用与用户和物品相关的语义信息，我们基于它们的文本特征初始化用户/物品表示。

对于每个用户及其交互序列，我们查找并组织对应的文本特征，形成集合。在 LLM 主干网络的文本编码器中，LLM 的分词器（Tokenizer）首先将文本内容转换为标记索引（token indices），然后标记嵌入层（token embedding layer）将标记索引投影为标记嵌入（token embeddings）。

最终，LLM 基于其内在的语义知识，将标记嵌入转换为语义表示。语义信息提取过程可以表示为：

其中，d 表示 LLM 的隐藏层特征维度。

3.1.2 双重动态语义索引生成

基于 LLM 主干网络文本编码器提取的语义表示，双重动态索引生成器将其中的语义信息压缩为离散索引。由于双重动态索引的离散性，下游的 LLM 主干推荐器能够直接生成推荐结果的索引，从而充分激发 LLM 主干的自然语言生成能力。

通常，每个用户/物品都与一个唯一标识符（如 <user_9974>、<item_161>）相关联。一种朴素的策略是将所有唯一标识符直接添加到 LLM 词表中，但这种方法会导致词表大小随用户和物品数量线性增长。

借鉴序列量化（sequential quantization）技术，我们在设计双重动态索引生成器式采用了分层架构，通过 M 个索引标记（每个标记有 N 种可能取值）的组合来表示每个用户、物品。

例如，如图 2 中双重动态索引生成阶段所示，物品 <item_5175> 可表示为 =<a2,b4,c5,d7>，其中 M=4，N=8。在该分层索引机制下，表达空间随索引长度 M 指数级增长。

一个长度为 M 基数为 N 的分层索引理论上可以表示个不同的对象，而新引入的索引标记总数仅为 N×M。以物品为例，量化过程将以残差方式执行 M 次，其数学表达如下：

最终，物品的语义索引可表示为： .

3.1.3 生成式序列推荐

为了让 LLM 主干网络理解序列推荐任务，我们通过自然语言指令将双重动态索引与用户交互序列进行聚合。具体而言，交互序列中的原始用户索引和物品索引被替换为相应的双重动态索引。由此，交互记录被重组为一个由自然语言 Token 和双重动态索引 Token 组成的异构序列。在我们的实现中，一条异构自然语言指令的示例如下：

“You are an expert in sequential recommendation. Based on the historical interaction sequence: , could you please predict the most suitable item for user ?”

记异构自然语言指令为，LLM 主干网络首先将自然语言指令转换为隐藏表示。然后，在 LLM 主干网络的基础上附加一个扩展的语言模型头，用于将隐藏状态投影到索引标记词表，表示如下，

其中，是推荐结果的索引表示。若有需要，可以通过逆查找操作（inverse look-up）将索引转换回原始物品 ID。基于异构指令提示的序列推荐任务可以自然地转化为语言生成任务，其优化目标定义为负对数似然（Negative Log-Likelihood, NLL），具体如下：

其中，F 是由 LLM 主干网络与扩展的语言模型头组成的整体模型，B 表示批量大小（batch size），和分别为第个样本的真实索引与自然语言指令。

3.2 多粒度 Token 调节器

给定动态索引和对应的文本特征，值得注意的是，和从两个不同的角度描述了同一实体。因此，LLM 对动态索引的理解应当与对文本特征的理解相似。

如图 3 所示，多粒度 Token 调节器模块在索引层和标记层构建了对齐监督。我们提出的基于索引层对齐监督优化目标公式如下，

其中，为批量大小，和分别为动态索引和文本特征的 LLM 表示。具有相似表示的用户/物品往往会分配相似的索引，这些索引共享一部分相同的标记。因此，我们提出了基于标记层对齐监督的优化目标，公式如下，

其中是第个量化器的输入，是与索引标记对应的码字。

3.3 高阶交互模式挖掘

我们设计了高阶用户-物品交互模式的挖掘方法，使得 LLM 能够捕捉这些隐式模式。具体而言，我们首先根据历史行为构建相关的用户集合数据。对于每个物品，与之有过历史交互的用户被记录为一个关联集合，其中表示用户的交互序列。

作为序列推荐任务的对称任务，我们设计了用户预测任务，旨在挖掘用户共同购买模式。LLM 主干网络推荐系统通过提示多个历史上与特定物品有过交互的用户，然后指示其生成另一个喜欢相同物品的用户的索引。下面是异构指令的示例：

“You are a professional recommendation system. The item is historically purchased by the following users: . Could you please predict another user who may be interested in this item?”

为了挖掘用户偏好模式，我们还设计了基于用户最近评论、搜索查询和整体个人资料的指令调优任务。