淄博网站制作定制技术wordpress 教材主题

整理自视频 老袁不说话 。

12.FFN基于位置的前馈网络

之间讲了残差连接，规范化。
这节是FFN基于位置的前馈网络，其实就是MLP，两层线性连接层。
输入$X:[bs,n,d]$
第一层：$Y=X{W}_1+B_{1}W1:[d,d_m]$，代入$Y$，$Y=ReLU(X)$，输出$Y:[bs,n,d_m]$
第二层：$Y=X{W}_2+B_{2}W1:[d_m,d]$，输出$Y:[bs,n,d]$

代码

import torch
from torch import nnclass FFN(nn.Module):# dm=4*ddef __init__(self,d,dm,*args,**kwargs)->None:super(FFN,self).__init__(*args,**kwargs)self.dense1=nn.Linear(d,dm) # weight:[dm,d] bias:[dm]self.relu=nn.ReLU()self.dense2=nn.Linear(dm,d) # weight:[d,dm] bias:[d]def forward(self,X):Y=self.dense1(X)Y=self.relu(Y)Y=self.dense2(Y)return YX=torch.randn(3,5,10)
ffn=FFN(10,40)
o=ffn(X)
print(o.shape)