推荐系统实验指标置信度：p值核心原理与工程应用指南

---

---

一、推荐系统实验中的置信度困境

在推荐系统AB实验中，经常出现以下矛盾场景：

• 实验组CTR提升1.2%，但次日回退至基线水平
• GMV指标p值0.04（<0.05），但用户留存率显著下降
• 离线AUC提升3%，线上实验却无显著变化

这些现象本质是实验指标置信度问题——如何判断观测到的指标变化是真实效应还是随机波动？统计学中的**p值（P-value）**是解决这一问题的核心工具，本文从原理、计算、应用三方面解析其在推荐系统中的实践方法。

二、p值核心原理：从假设检验到推荐场景适配

2.1 基础概念与数学定义

p值：在原假设（H₀：实验组与对照组无差异）成立的前提下，观测到当前或更极端结果的概率。

• 取值范围：[0,1]，越小表示结果越不可能由随机波动导致
• 显著性水平：常用α=0.05（p<0.05拒绝H₀，认为结果显著）

推荐系统核心假设：

• H₀：实验组与对照组的指标均值/比率无差异（μ₁=μ₂）
• H₁：实验组指标优于对照组（μ₁>μ₂，单尾检验）

2.2 通俗版本

为了更容易理解，我们先抛开公式，用一个生活例子类比：
假设你拿到一枚硬币，怀疑它“不公平”（正面朝上概率≠50%）。为了验证，你决定抛100次看看结果——这就是一个典型的假设检验问题。

• 原假设（H₀）：硬币是公平的（正面概率=50%）
• 备择假设（H₁）：硬币不公平（正面概率≠50%）

抛完后发现正面朝上65次，远高于50次。这时候你会想：“如果硬币真的公平，出现65次或更多正面的概率有多大？”这个概率就是p值。

• 如果p值很小（比如1%），说明“硬币公平”的情况下，出现65次正面是极不可能的事，我们就有理由拒绝原假设，认为硬币确实不公平。
• 如果p值很大（比如30%），说明这种结果在“硬币公平”时也可能发生，无法拒绝原假设，只能认为实验结果是偶然。

回到推荐系统场景，假设你做了一个AB实验：

• 原假设（H₀）：实验组和对照组的CTR没有差异
• 备择假设（H₁）：实验组CTR更高

当计算出p值为0.02（2%），意味着“如果两组CTR真的没差异，观测到当前或更高CTR提升的概率只有2%”。这个概率足够小，我们就可以说“实验结果显著”，认为实验组确实更好。

核心白话总结：

p值就是“原假设成立时，出现当前结果或更极端结果的概率”。

• p值越小，结果越“意外”，越有理由认为原假设不成立（即实验有效）；
• 通常以0.05为临界值（相当于“5%以内的小概率事件”），p<0.05时认为结果显著，但实际要结合业务场景灵活判断（比如高风险场景可能需要更严格的0.01）。

这种思维方式就像“疑罪从无”：只有证据足够强（p值足够小），才能推翻“无差异”的初始假设，接受“有效果”的结论。

2.2 推荐系统指标分类与统计方法

指标类型	示例指标	统计方法	p值计算核心步骤
比率型	CTR、CVR	双比例Z检验	计算率差的标准误，构造Z统计量
均值型	人均时长、GMV	双样本T检验（方差齐性检验）	计算均值差的标准误，构造T统计量
排序型	NDCG、GAUC	Wilcoxon秩和检验	比较两组排序的秩次分布差异
生存型	复购时间、留存率	Log-rank检验	比较生存曲线的累计分布差异

案例：CTR指标p值计算

# 实验组：点击1200次/曝光10万次，对照组：点击1100次/曝光10万次
from statsmodels.stats.proportion import proportions_ztestsuccess = [1200, 1100]
nobs = [100000, 100000]
z_score, p_value = proportions_ztest(success, nobs, alternative='larger')
print(f"Z统计量: {z_score:.2f}, p值: {p_value:.4f}")
# 输出：Z统计量: 2.01, p值: 0.0222（p<0.05，CTR提升显著）

三、推荐系统实验p值计算全流程

3.1 实验设计阶段：流量分配与检验效能

1. 流量分层：

   • 确保实验组/对照组流量独立同分布（通过AABB实验验证分桶均匀性）
   • 最小样本量计算：使用Power Analysis确定达到80%检验效能的最小用户数

     # 样本量计算（效应量0.5%，α=0.05，β=0.2）
     from statsmodels.stats.power import proportion_powereffect_size = 0.005  # 5BP的CTR提升
     power = proportion_power(effect_size, alpha=0.05, power=0.8)
     print(f"最小单组样本量: {int(power)}")  # 输出：27580
     

2. 检验类型选择：

   • 单尾检验：适用于明确方向性假设（如“实验组CTR更高”）
   • 双尾检验：适用于无明确方向的探索性实验

3.2 数据处理阶段：异常值与分布检验

• 离群值处理：GMV等指标需剔除Top 0.1%的极值用户
• 分布检验：
  • Shapiro-Wilk检验判断均值型指标是否正态分布
  • Leven