OneSug：快手发布了端到端Query Suggestion生成式模型，显著提升电商场景下的查询建议能力！！

摘要：在电子商务搜索系统中，查询建议模块对于提升用户体验具有至关重要的作用，它能够提供与用户初始输入相关的查询建议，帮助用户朝着个性化偏好需求方向进行导航，并且减少了用户的输入工作量，从而改善搜索体验。传统的查询建议模块通常采用多阶段级联架构，以此在系统响应时间和业务转化之间做出良好的权衡。然而，它们往往由于各阶段优化目标不一致而导致效率低下以及性能次优。为了解决这些问题，我们提出了OneSug，这是首个针对电子商务查询建议的端到端生成式框架。OneSug包含一个前缀到查询（prefix2query）表示增强模块，通过使用在语义和交互上相关的查询来丰富前缀，以连接内容和业务特征；一个将查询建议过程统一起来的编码器 - 解码器生成模型；以及一种带有行为级权重的奖励加权排序策略，用于捕捉细微的用户偏好。在大规模行业数据集上的广泛评估表明，OneSug在有效且高效的查询建议方面具有出色的能力。此外，OneSug已经在快手平台的电子商务搜索引擎上针对全部流量成功部署了超过1个月，与在线多阶段策略相比，在用户点击最高位置（-9.33%）、点击通过率（+2.01%）、订单量（+2.04%）以及收入（+1.69%）等方面均取得了具有统计学意义的提升，显示出其在电子商务转化方面具有巨大潜力。

本文目录

一、背景动机

二、核心贡献

三、实现方法

3.1 Prefix2Query增强模块

前缀-查询对齐

层次量化语义ID生成器

3.2 统一的编码器-解码器架构设计

3.1 奖励加权排序

3.2 混合排序框架

五、总结

---

一、背景动机

论文题目：OneSug: The Unified End-to-End Generative Framework for E-commerce Query Suggestion

论文地址：https://arxiv.org/pdf/2506.06913

Query Suggestion 是电商搜索系统中的关键模块，其通过提供与用户初始输入相关的查询推荐来增强用户体验。传统的查询建议模块通常采用多阶段级联架构（MCA），这种架构在系统响应时间和业务转化之间寻求平衡，但存在效率低下和性能次优的问题。

基于上述问题，文章提出了一个端到端的生成式框架OneSug，旨在通过统一的查询建议过程来提高性能。

二、核心贡献

• 设计了Prefix2Query表示增强模块，通过使用语义和交互相关的查询来增强前缀的表示，从而弥合内容和业务特征之间的差距。
• 基于统一的编码器-解码器架构，直接输出用户可能感兴趣的查询，避免了多阶段级联架构中由于优化目标不一致而导致的次优结果。
• 提出了基于奖励加权排序（RWR）策略的用户偏好对齐，其通过用户交互行为的级别差异来区分用户对不同查询的偏好，从而提高模型的个性化排序能力。

三、实现方法

3.1 Prefix2Query增强模块

前缀-查询对齐

• 背景：用户输入的前缀通常较短，语义表示较为模糊。例如，“apple”可能指代水果或公司。为了增强前缀的语义表示，文章提出了前缀-查询对齐方法。

• 方法

  • 使用BGE（Baidu General Embedding）模型作为初始表示模型，但BGE在电子商务领域的知识有限，因此需要结合真实的用户前缀-查询交互数据进行对齐。

  • 通过现有的检索模型（如ItemCF和Swing）生成高质量的前缀-查询对和查询-查询对，然后选择语义相关的对来增强性能。

  • 对齐训练过程如下：

• 通过优化对齐损失，使BGE的语义表示与下游业务特征对齐。

层次量化语义ID生成器

• 背景：对齐前缀表示后，需要进一步增强前缀的语义表示，同时减少推理时的匹配计算复杂度。

• 方法

  • 使用RQ-VAE生成语义ID。RQ-VAE通过残差嵌入和码本索引来表示输入，训练目标如下：

• 通过RQ-VAE提取前缀的语义ID后，通过基于聚类的搜索识别出最相关的查询。搜索过程从细到粗：首先选择具有相同语义ID的高质量查询，然后接受共享相同码本词的查询。此外，基于多样性和相关性进一步筛选前k个查询。

3.2 统一的编码器-解码器架构设计

• 背景：传统的多阶段级联架构（MCA）存在效率低下和性能次优的问题。为了解决这些问题，OneSug采用了一个统一的编码器-解码器架构，直接生成用户可能感兴趣的查询。

• 方法

  • 输入包括用户输入的前缀、相关的查询序列、用户的历史交互查询和用户画像信息。输出是用户可能感兴趣的查询列表。

  • 编码器使用多头自注意力和前馈层处理输入，生成编码的历史交互特征。解码器则自回归地生成查询候选。

  • 具体输入形式如下：

• 使用交叉熵损失进行下一个标记的预测训练，生成目标查询的标记ID。

3.3 奖励加权排序（RWR）策略

3.1 奖励加权排序

• 背景：为了将用户偏好融入生成模型，作者提出了基于奖励加权排序（RWR）的用户偏好对齐策略。该策略通过用户交互行为的级别差异来区分用户对不同查询的偏好。

• 方法

  • 将用户交互行为分为六个级别，并构建正负样本对。为每个级别分配权重，权重值为[2.0,1.5,1.0,0.5,0.2,0.0]。

  • 对于每个正负样本对，计算用户偏好差异。

3.2 混合排序框架

• 背景：传统的DPO方法仅依赖于成对比较，难以学习不同样本之间的绝对似然，导致缺乏排序能力。为了解决这一问题，作者提出了混合排序框架，结合了成对和列表式偏好学习。

• 方法：在成对偏好学习的基础上，引入列表式偏好学习。对于每个输入，将正样本与多个负样本配对，构建更全面的偏好数据集。

四、实验结论

• 离线评估：OneSug在大规模行业数据集上的表现优于传统的多阶段级联架构（MCA）和生成式检索架构（GRA）。例如，与在线MCA相比，OneSug在HitRate@16和MRR上分别提高了3.19%和4.54%。

• 在线A/B测试：OneSug在Kuaishou平台的电子商务搜索引擎上进行了在线A/B测试，结果显示OneSug在用户点击位置、点击率（CTR）、订单量和收入方面都有显著提升。具体来说，OneSug将平均输入长度减少了1.82%，用户点击位置减少了9.33%，CTR提高了2.01%，订单量增加了2.04%，收入增加了1.69%。

• 手动评估：OneSug在页面良好率、查询良好率和全召回率方面都有显著提升，分别提高了11.02%、22.51%和8.48%。

五、总结

文章提出的OneSug框架通过其端到端的生成式框架，有效地解决了传统多阶段级联架构在电子商务查询建议中的局限性。它通过增强前缀表示和统一的生成模型，实现了对用户查询意图的更深入理解和个性化建议。此外，基于奖励加权排序的用户偏好对齐策略进一步提高了模型的排序性能。