当前位置：首页 > wzjs >正文

陕西工程造价信息网陕西整站关键词自然排名优化

wzjs 2025/7/29 0:26:35

陕西工程造价信息网,陕西整站关键词自然排名优化,网站建设电话营销,网站开发总结与未来展望快手主站推荐算法这个是做因果选券的，如果大家的工作和这个有关，可以看看一、有没有分析特征对各个的贡献度，怎么做？ 传统的特征重要度衡量方法，就不介绍了。什么基于树模型的、SHAP值、LIME等。但其实实际工程中…

快手主站推荐算法

这个是做因果选券的，如果大家的工作和这个有关，可以看看

一、有没有分析特征对各个的贡献度，怎么做？

传统的特征重要度衡量方法，就不介绍了。什么基于树模型的、SHAP值、LIME等。
但其实实际工程中一般还是使用Null Importance 特征贡献度。

1.1. Null Importance 特征贡献度

Null Importance 是一种基于置换检验（Permutation Test）的特征选择方法，用于评估特征的真实贡献度。通过比较真实特征重要性与随机噪声下的特征重要性，可以识别出对模型预测有实际贡献的特征。

1.1.1. Null Importance 的核心思想

Null Importance 的核心思想是通过以下步骤评估特征的重要性：

计算真实特征重要性：使用原始数据训练模型，并计算每个特征的重要性。
生成 Null Importance：通过随机打乱（置换）目标变量 $Y$ ，破坏特征与目标变量之间的关系，然后重新训练模型并计算特征重要性。
比较真实重要性与 Null Importance：通过统计检验或阈值比较，筛选出显著高于 Null Importance 的特征。

1.1.2. 改进

上述方法还要计算特征重要性，但是在实际工程中，其实没法计算特征重要性。所以完全可以通过打乱

二、消偏工作：倾向分消偏、IPS、DR 和消偏塔

2.1. 倾向分消偏

倾向分消偏（Propensity Score Adjustment）主要用于处理样本之间的选择偏差。其基本思想是计算每个个体被选入某个处理组的概率（倾向分），然后在建模时使用倾向分进行调整，确保处理组和对照组在观察变量上尽可能相似。具体方法包括：

倾向分匹配（PSM, Propensity Score Matching）：找到匹配的个体，使得不同处理组之间的个体在倾向分上尽可能相似。
倾向分加权（IPW, Inverse Probability Weighting）：使用倾向分的倒数作为权重，在模型训练时重新加权样本，以减少偏差。
倾向分分层（Stratification）：将数据集按照倾向分分成若干层，每一层内部保证不同处理组的个体在倾向分上尽可能相似。

2.2. IPS 和 DR 消偏

IPS（Inverse Propensity Score）和 DR（Doubly Robust）是两种常见的消偏方法：

IPS（逆倾向评分加权）
- 公式：
  $W_i = \frac{T_i}{P(T_i | X_i)} + \frac{(1 - T_i)}{1 - P(T_i | X_i)}$
- 其中， $T_i$ 是处理变量， $P(T_i | X_i)$ 是倾向分。
- IPS 方法通过对样本进行加权，使不同组别的样本在统计上具有相似的分布。
DR（双重稳健方法）
- 结合了倾向分加权和回归模型，既能利用倾向分减少选择偏差，又能利用回归模型降低模型方差。
- 其核心是对 IPS 进行调整，使得即便倾向分模型不完全准确，回归模型也可以部分补偿偏差。

2.3. 消偏塔（De-biasing Tower）

消偏塔通常指的是一种分层消偏方法，通常涉及多个步骤：

原始数据层（Raw Data Layer）
- 收集所有原始特征数据，并进行预处理，如缺失值填充、标准化等。
倾向分计算层（Propensity Score Estimation Layer）
- 训练倾向分模型，如逻辑回归、梯度提升树（GBDT）或深度学习模型，计算每个样本的倾向分。
样本调整层（Reweighting Layer）
- 使用 IPS、PSM、DR 等方法进行样本加权或匹配，以调整数据分布，减少偏差。
建模层（Modeling Layer）
- 在消偏后的数据上训练目标模型，如分类、回归或推荐系统模型。
评估层（Evaluation Layer）
- 评估消偏效果，例如通过 ATE（Average Treatment Effect）、ATT（Average Treatment on Treated）等指标衡量偏差是否减少。