【论文阅读】PEPNet

快手23年kdd的一篇文章，涉及到多场景多任务的预估。看之前同事有在模型中使用这个方法，读论文学习一下。
文章链接：https://arxiv.org/abs/2302.01115

METHODOLOGY

模型结构

模型主要分为三部分：

• 门控神经单元 gate Neural Unit
• 嵌入个性化网络 EPNet
• 参数个性化网络 PPNet

Gate Neural Unit(Gate NU)

受LHUC而设计的门控神经单元，作为PPNet和EPNet的基本组成单位

• LHUC：LHUC专注于学习说话者特定的隐藏单元贡献，它通过用个性化的贡献来扩展模型的隐藏层来提高语音识别的准确性。【即不同的说话者会有相应的门控单元，用于放缩dnn的隐藏层，从而提升语音识别准确性】
• Gate NU：由两层神经网络组成，其中γ设置为2
  
  Gate NU 旨在用不同的个性化语义（比如user id、item id等等）来处理更多先前的信息，以注入模型进行更个性化的建模。

Embedding Personalized Network(EPNet)

• 输入：domain端的特征，比如domain id，每个域中用户行为和物品曝光的计数等。组合上常规的特征嵌入表示(停止梯度传播的)
• 输出：经过Gate NU后的结果
  
  得到的结果和 一般特征嵌入表示$E$进行个性化转化，通过做元素乘积的方式。这样实现在不同域中对一般特征的个性化筛选。
  

Parameter Personalized Network(PPNet)

核心思想：修改多任务学习中的DNN参数，建立针对每个用户兴趣的DNN模型。
输入：user、item、作者角度的feature（先验知识）。连接上经过EPNet调整过的特征嵌入表示。
输出：经过Gate NU后的结果

对于每一个任务的DNN tower，在DNN的每一层输出上都通过element-wise的方式结合PPNet的输出，也就是PPNet会有DNN layer num个（or 层？），来匹配每一层的输出形状，如图中蓝色所示。

工程优化策略

• 特征消除策略：设计一个无冲突和记忆效率的全局共享嵌入式表（GSET）。大致思想是这个结构会通过特征得分消除机制，来避免低频feature进入和退出系统，使得特征embedding的空间占有率始终保持一个稳定的阈值范围内。
• 在线同步策略：两种同步在线模型所需嵌入的策略：1）为每个特征设置数量限制，以防止任何单个特征的嵌入过度同步。2）设置嵌入的过期时间，仅同步到期的嵌入，不同步未达到指定更新频率的嵌入。
• 离线训练策略：在短视频场景中，嵌入的更新频率高于DNN参数，尤其是ID特征。因此训练时 嵌入层和上层DNN网络采用不同的优化方法和更新策略。

参考文献

1. https://www.jiqizhixin.com/articles/2021-02-03-6
2. https://zhuanlan.zhihu.com/p/617478217
3. https://zhuanlan.zhihu.com/p/4183820183