长沙市天心区建设局网站常用网站后缀

一、L1 和 L2 正则化的区别？对数据分布有什么要求，它们都能防止过拟合吗？

1.1. L1 与 L2 正则化的区别

特性	L1 正则化（Lasso）	L2 正则化（Ridge）
正则项	λ * ∑|wᵢ|	$\lambda \ast \sum (w_i^2)$
几何意义	曼哈顿距离	欧几里得距离
是否稀疏	会产生稀疏解（可做特征选择）	一般不会产生稀疏解
使用场景	特征选择、高维稀疏问题	多重共线性、连续性特征问题

1.2. 对数据分布的要求

• L1 正则化：
  • 特征间相关性高时效果较差（可能任意选择一个）；
  • 更适合高维稀疏特征（如文本、基因数据）；
• L2 正则化：
  • 更适合特征均匀分布、非稀疏数据；
  • 对特征间存在多重共线性效果更稳定；
  • 对正态分布特征表现更好；

1.3. 它们都能防止过拟合吗？

是的，L1 和 L2 都能防止过拟合：

• L1 通过让某些特征权重变为 0，起到特征选择的作用；
• L2 通过惩罚权重过大的参数，使模型更平滑、更稳定；

1.4. 总结建议

场景	推荐使用的正则化方式
高维稀疏特征	L1
需要自动特征选择	L1
特征之间存在多重共线性	L2
更注重解的稳定性	L2
想结合两者优点	Elastic Net（L1 + L2 混合）

二、冷启动场景下Embedding初始化方案有那些？

2.1. 随机初始化

• 直接高斯或者均匀随机初始化。缺点就是没有任何先验知识可能导致收敛变慢或者模型不稳定

2.2. 使用平均 Embedding

• 所有未知的物品的Embedding = 所有老物品Embedding的平均值。这样可能稳定点，适用于新物品和老物品有几分相似

2.3. 相似对象初始化

• 基于新对象的一些辅助信息（如属性、上下文、元数据）找出最相似的已有对象，使用其 Embedding 或加权平均。

2.4. 搞迁移学习或者叫预训练模型初始化

• 先训练一个元模型就是输出Embedding，根据新对象的元特征生成对应的 Embedding

2.5. 使用图神经网络

• 这个比较复杂，图本身也不好训练，感觉只有任务要求很高的情况才搞这么复杂

三、详细解释一下DCN模型

论文原文：Deep & Cross Networkfor Ad Click Predictions, KDD’2017, Google

3.1. 设计这个模型其实也是为了更加充分的特征交叉，DNN + Cross Net模型架构如下：

3.2. Cross Net 的具体细节

对于第 l 层：
$$x_{l+1}=x_0\cdot (w_l^T{x}_l)+b_l+x_l$$
其中：

• $x_0$ 为原始输入向量（固定不变）
• $x_l$ 为当前层输入
• $w_l\in {\mathbb{R}}^d$，$b_l\in {\mathbb{R}}^d$
• · 为哈达马积（逐元素乘）

3.3. Cross Net的优势

$$X_{i+1}=X_0{X}_i^T{W}_i+X_i+b_i$$

$X_0$可视为常数输入，$W_i$ 视为函数 $F$，公式可改写为：
$$X_{i+1}=F(X_i)+X_i+b_i$$

与残差连接的对比

残差连接的标准公式：$y=f(x)+x$

相似之处

• 两者均采用“原始输入 + 变换结果”的结构。
• 均具备避免梯度消失的特性。
• 适合构建深层网络。

四、DIN 的 Target Attention 是怎么做的？

4.1. 背景：DIN 主要解决什么？

DIN（Deep Interest Network）用于电商推荐，它的特点是：

• 用户有很多历史行为（点击、浏览、收藏等）
• 但不是每次历史行为都和当前待推荐商品相关

所以，需要根据当前的待推荐商品（target item）动态地去关注用户的历史行为。这就是 Target Attention —— 针对不同的目标，动态建模兴趣的注意力机制。

4.2. DIN 中 Target Attention 的计算流程

假设：

• 用户历史行为序列： { h 1 , h 2 , . . . , h n } \{h_1, h_2, ..., h_n\} {h1​,h2​,...,hn​}
• 当前候选物品（Target Item）：$t$

4.2.1. Attention步骤是：

第一步：拼接特征

对每个历史行为 $h_i$ 和当前target $t$，做特征组合。
通常的组合方法是：

• 拼接 (Concat)：$[h_i,t,h_i-t,h_i\circ t]$
  • $h_i-t$：捕捉差异
  • $h_i\circ t$：逐元素乘（哈达马积，捕捉交互）
  • $[\cdot ]$：表示拼接

第二步：MLP 得分

将上面组合后的特征，输入一个小的MLP（多层感知机），输出一个相关性得分（attention weight）。
$${\alpha }_i=\text{MLP}([h_i,t,h_i-t,h_i\circ t])$$
注意：

• 这里的 MLP 是共享参数的。
• 不是标准的 “点积Attention”（比如 Transformer里的那种），而是通过 MLP学习得分。

第三步：Softmax归一化

对所有得分 { α 1 , α 2 , . . . , α n } \{\alpha_1, \alpha_2, ..., \alpha_n\} {α1​,α2​,...,αn​} 做 softmax 归一化：
$${\beta }_i=\frac{\exp ({\alpha }_i)}{{\sum }_{j=1}^n\exp ({\alpha }_j)}$$
这样可以保证权重加起来为 1。

第四步：加权求和

最后，用归一化后的权重对历史行为加权求和，得到一个综合向量：
$$h_{attn}=\sum _{i=1}^n{\beta }_i{h}_i$$
这个 $h_{attn}$ 就是最终代表用户兴趣的向量，专门针对当前target。