太原站建设有多长时间桂林生活网分类信息网站

美团暑期推荐实习

一、讲一下self-attention，qkv的含义。

见【搜广推校招面经五】

二、讲一下协同过滤召回，新闻推荐项目为什么不用usercf?

见【搜广推校招号面经六十四】

三、介绍信息增益公式（Information Gain）

见【搜广推校招面经六十二】
信息增益是一种用于特征选择的指标，广泛应用于构建决策树（如 ID3 算法）。它衡量的是某个特征 A 在对数据集 D 进行划分后，信息不确定性的减少量。信息增益的计算依赖两个核心概念：熵 和 条件熵。

3.1. 熵（Entropy）

熵表示系统的不确定性程度：
$$H(D)=-\sum _{i=1}^k{p}_i{\log }_2{p}_i$$

• D:当前样本集
• k:类别个数
• $p_i$:属于第 $i$ 类的样本所占比例

3.2. 条件熵（Conditional Entropy）

条件熵表示在特征 A 的条件下，样本集 D 的期望信息熵：
$$H(D|A)=\sum _{j=1}^k\frac{|D_j|}{|D|}H(D_j)$$

3.3. 信息增益公式

信息增益定义为特征 A 在划分数据集 D 后，信息熵的减少量：
$$Gain(D,A)=H(D)-H(D\mid A)$$

四、决策树停止分裂的条件

树模型在训练过程中，通过不断分裂节点来划分数据集，但为了防止过拟合和提高泛化能力，决策树在构建过程中需设置停止条件。下面是常见的方法：

4.1. 节点纯度足够高

• 若某个节点中样本基本属于同一类（例如熵小于设定阈值 ε），则停止分裂。

4.2. 样本数量过少

• 若当前节点包含的样本数 < min_samples_split 或 min_samples_leaf，则不再划分。

4.3. 信息增益太小

• 如果当前最优划分特征的信息增益 < min_gain_threshold，说明划分效果不明显，停止。

4.4. 树达到最大深度

• 若当前树的深度 >= max_depth，则不再向下扩展子节点。

4.5. 特征耗尽

• 所有特征均已被用尽，无法再进一步划分。

五、XGBoost的正则项

XGBoost的正则化项用于控制模型的复杂度，防止过拟合。它包含了两部分：L1正则化（Lasso）和L2正则化（Ridge）。XGBoost通过控制这两个正则化项的参数来实现正则化。

5.1. L1正则化（Lasso Regularization）

L1正则化通过增加特征系数的绝对值之和来惩罚模型。它能够实现特征选择，促使一些特征系数变为零。

• 参数: alpha
• 作用: 控制L1正则化的强度，增大alpha值会增加L1正则化的效果，从而使得模型更为稀疏。

5.2. L2正则化（Ridge Regularization）

L2正则化通过增加特征系数的平方和来惩罚模型。它帮助防止过拟合并能够降低模型的复杂度。

• 参数: lambda（也称为reg_lambda）
• 作用: 控制L2正则化的强度，增大lambda值会增加L2正则化的效果，从而使得模型的特征权重更小，避免过拟合。

5.3. 总的正则化目标

XGBoost的目标函数包括了损失函数和正则化项，公式如下：
$$L(\theta )=\sum _{i=1}^N\ell (y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k)$$

其中，$\ell (y_i,{\hat{y}}_i)$是损失函数，$\Omega (f_k)$是正则化项，具体为：

$$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

• T：树的叶子数
• $w_j$：每个叶子的权重
• $\gamma$：每增加一个叶子时的惩罚项（树的复杂度控制）
• $\lambda$：L2正则化的参数

通过调整alpha和lambda，可以有效控制模型的复杂度，避免过拟合。