当前位置: 首页 > news >正文

模型预估打分对运筹跟踪的影响

在uplift建模中,模型离线指标(QINI、AUUC)提升并不意味着在线A/B实验的收益,因为在线运筹还需要λ\lambdaλ约束。如果模型打分不满足单调增且roi边际递减,那么λ\lambdaλ运筹求解会非常不稳定,导致线上发券偏高,毛利无法兜住。

下面用 两个数值化示例 直观对比:

示例 1:pip_ipi 单调增但不满足边际递减 ⇒ λ\lambdaλ 搜索不稳定

  • 样本数:5

  • 成本:全部 ci=1c_i=1ci=1

  • 预算B=3B=3B=3

  • 打分 pip_ipi(严格单调增,但 Δpi\Delta p_iΔpi = pi−pi−1p_i - p_{i-1}pipi1 不递减/有重复):

i12345
pip_ipi0.100.200.400.400.50
Δpi\Delta p_iΔpi0.100.200.000.10
  • 阈值集 {pi/ci}={0.10,0.20,0.40,0.40,0.50}\{p_i/c_i\}=\{0.10,0.20,0.40,0.40,0.50\}{pi/ci}={0.10,0.20,0.40,0.40,0.50}
  • λ\lambdaλ 越过 0.40 时,会同时将样本 3、4 都剔除,令选中数 C(λ)C(\lambda)C(λ) 从 3 直接跳到 1,形成大阶梯。

C(λ)=#{i:pi>λ}={5,λ<0.10;3,0.10≤λ<0.20;3,0.20≤λ<0.40;1,0.40≤λ<0.50;0,λ≥0.50. C(\lambda)=\#\{i: p_i>\lambda\} \quad=\begin{cases} 5,&\lambda<0.10;\\ 3,&0.10\le\lambda<0.20;\\ 3,&0.20\le\lambda<0.40;\\ 1,&0.40\le\lambda<0.50;\\ 0,&\lambda\ge0.50. \end{cases} C(λ)=#{i:pi>λ}=5,3,3,1,0,λ<0.10;0.10λ<0.20;0.20λ<0.40;0.40λ<0.50;λ0.50.

二分搜索行为

  • [0.20,0.40)[0.20,0.40)[0.20,0.40) 内,任意 mid 都命中 C=3C=3C=3,算法只能不断逼近 0.40,永远无法见到C<3C<3C<3的分支判定,也就卡在边界来回,无法稳定收敛到唯一解。

示例 2:pip_ipi 单调增且满足边际递减 ⇒ λ\lambdaλ 搜索稳定

  • 样本数:5

  • 成本:全部 ci=1c_i=1ci=1

  • 预算B=3B=3B=3

  • 打分 pip_ipi(严格单调增 且 Δpi\Delta p_iΔpi 递减):

iii12345
pip_ipi0.100.180.240.280.30
Δpi\Delta p_iΔpi0.080.060.040.02
  • 阈值集 {0.10,0.18,0.24,0.28,0.30}\{0.10,0.18,0.24,0.28,0.30\}{0.10,0.18,0.24,0.28,0.30},且每次跨过一个阈值,只会剔除一个样本。

C(λ)=#{i:pi>λ}={5,λ<0.10;4,0.10≤λ<0.18;3,0.18≤λ<0.24;2,0.24≤λ<0.28;1,0.28≤λ<0.30;0,λ≥0.30. C(\lambda)=\#\{i: p_i>\lambda\} \quad=\begin{cases} 5,&\lambda<0.10;\\ 4,&0.10\le\lambda<0.18;\\ 3,&0.18\le\lambda<0.24;\\ 2,&0.24\le\lambda<0.28;\\ 1,&0.28\le\lambda<0.30;\\ 0,&\lambda\ge0.30. \end{cases} C(λ)=#{i:pi>λ}=5,4,3,2,1,0,λ<0.10;0.10λ<0.18;0.18λ<0.24;0.24λ<0.28;0.28λ<0.30;λ0.30.

二分搜索行为

  • 目标C(λ)=3C(\lambda)=3C(λ)=3
  • 初始区间 [0.10,0.30][0.10,0.30][0.10,0.30],mid=0.20 → C(0.20)=3C(0.20)=3C(0.20)=3 → 收缩右端 → [0.10,0.20][0.10,0.20][0.10,0.20]
  • mid=0.15 → C=4>3C=4>3C=4>3 → 收缩右端 → [0.10,0.15][0.10,0.15][0.10,0.15]
  • … 依次剔除第2号、第3号样本,每次跨过一个阈值,CCC 变化为 4→3→2…,二分能稳定地一步步逼近恰好使 C=3C=3C=3λ\lambdaλ

核心对比

条件阶梯跳变二分稳定性
示例1:边际不递减或重复值大阶梯(一次掉多个)卡在大跳点来回
示例2:边际严格递减小阶梯(一次掉一个)逐次逼近,稳定收敛
  • 只有当每次 λ\lambdaλ 触碰一个阈值,就只影响一个样本时,累积成本 C(λ)C(\lambda)C(λ) 曲线才近似“单调平滑”,二分才能一步步稳定逼近目标预算。
  • 如果一次跨越多个阈值(示例1),或阈值间距极小/重复(前例),则会出现“跳变过大”或“可行区间过窄”,导致二分收敛失灵或来回摆动。
http://www.dtcms.com/a/313617.html

相关文章:

  • 数据结构:单向链表的函数创建
  • [硬件电路-141]:模拟电路 - 源电路,信号源与电源,能自己产生确定性波形的电路。
  • 高质量数据集|大模型技术正从根本上改变传统数据工程的工作模式
  • RapidIO/SRIO 入门之什么是SRIO
  • 环绕字符串中的唯一子字符串-动态规划
  • [2025ICCV-目标检测方向]DuET:通过无示例任务算术进行双增量对象检测
  • 1.内核模块
  • C语言基础03——数组——习题
  • 工作笔记-----IAP的相关内容
  • 8大图床高速稳定网站,值得长期选用
  • 【最长公共前缀】
  • DMDRS产品概述和安装部署
  • Kaggle 竞赛入门指南
  • Pygame如何制作小游戏
  • vllm0.8.5:自定义聊天模板qwen_nonthinking.jinja,从根本上避免模型输出<think>标签
  • Docker环境离线安装指南
  • C++与Go的匿名函数编程区别对比
  • SPI入门(基于ESP-IDF-v5.4.1)
  • accept4系统调用及示例
  • ELECTRICAL靶场
  • 检索召回率优化探究三:基于LangChain0.3集成Milvu2.5向量数据库构建的智能问答系统
  • 思途JSP学习 0802(项目完整流程)
  • Fay数字人如何使用GPT-SOVITS进行TTS转换以及遇到的一些问题
  • 写作路上的迷茫与突破
  • 推荐系统学习笔记(八)其他召回通道
  • ssh服务器端口和本地端口映射
  • 基于Python 批量导入实体与关系到 Neo4j 数据库的完整实践
  • jconsole与jvisualvm监控
  • 数据结构基础 - 平衡二叉树
  • async/await和Promise之间的关系是什么?(补充)