当前位置: 首页 > wzjs >正文

门户网站建设的企业谷歌网页

门户网站建设的企业,谷歌网页,wordpress 评论图片 代码,成都快速做网站如是我闻: 以下是多头注意力(Multi-Headed Attention)在计算时常见的张量维度变换总结,帮助理解从输入到输出是如何一步步处理的。为了方便,令: B B B 表示 batch size(批量大小) S …

如是我闻: 以下是多头注意力(Multi-Headed Attention)在计算时常见的张量维度变换总结,帮助理解从输入到输出是如何一步步处理的。为了方便,令:

  • B B B 表示 batch size(批量大小)
  • S S S 表示 sequence length(序列长度)
  • m m m 表示 num_heads(注意力头数)
  • h h h 表示 head_size(每个头的维度)
  • d m o d e l = m × h d_{\mathrm{model}} = m \times h dmodel=m×h 表示模型隐层维度

  1. 输入(queries、keys、values)
    形状 = ( B , S , d m o d e l ) . \text{形状} = (B,\, S,\, d_{\mathrm{model}}). 形状=(B,S,dmodel).
    在「自注意力」(self-attention)场景下,三者通常是同一个张量;在「交叉注意力」(cross-attention)场景下, queries \texttt{queries} queries keys, values \texttt{keys, values} keys, values 可能来自不同子网络。

  2. 线性映射( W Q , W K , W V W_Q, W_K, W_V WQ,WK,WV

    • queries \texttt{queries} queries 做线性变换得到 (Q):形状仍为 ( B , S , d m o d e l ) (B, S, d_{\mathrm{model}}) (B,S,dmodel)
    • keys \texttt{keys} keys 做线性变换得到 K K K:形状同上
    • values \texttt{values} values 做线性变换得到 V V V:形状同上
  3. 拆分 heads(split heads)

    • ( B , S , d m o d e l ) (B, S, d_{\mathrm{model}}) (B,S,dmodel) reshape + transpose 成 ( B , m , S , h ) (B, m, S, h) (B,m,S,h)
    • 这样每个 batch、每个序列位置上就可以拆出 m m m 个“头”,每个头维度为 h h h
    • 拆分后:
      Q , K , V → split ( B , m , S , h ) . Q, K, V ~\xrightarrow{\text{split}}~ (B,\, m,\, S,\, h). Q,K,V split  (B,m,S,h).
  4. 计算注意力分数(scores)

    • 使用 scaled dot-product:
      scores = Q × K T h 形状 = ( B , m , S , S ) . \text{scores} = \frac{Q \times K^T}{\sqrt{h}} \quad\text{形状} = (B,\, m,\, S,\, S). scores=h Q×KT形状=(B,m,S,S).
    • 此时会应用「下三角 mask」(causal mask)以保证自回归:只关注「过去和当前」位置,屏蔽「未来」位置。
    • scores \text{scores} scores s o f t m a x \mathrm{softmax} softmax 得到注意力权重 a t t n _ w e i g h t s \mathrm{attn\_weights} attn_weights
  5. 加权求和(attended values)
    attended_values = a t t n _ w e i g h t s × V , 形状 = ( B , m , S , h ) . \text{attended\_values} = \mathrm{attn\_weights} \times V, \quad \text{形状} = (B,\, m,\, S,\, h). attended_values=attn_weights×V,形状=(B,m,S,h).
    这样就得到每个 head 对原值向量的加权结果。

  6. 合并 heads(merge heads)

    • ( B , m , S , h ) (B, m, S, h) (B,m,S,h) 还原到 ( B , S , m × h ) (B, S, m \times h) (B,S,m×h),即 ( B , S , d m o d e l ) (B, S, d_{\mathrm{model}}) (B,S,dmodel)
    • 合并之后,相当于将所有 head 的信息拼接到最后一个维度上。
  7. 可选的最终线性映射 W O \mathbf{W}_O WO

    • 多数实现会继续用一个线性层 W O \mathbf{W}_O WO(同样是 ( d m o d e l , d m o d e l ) (d_{\mathrm{model}}, d_{\mathrm{model}}) (dmodel,dmodel))把拼接后的多头输出再次投影,形状保持 ( B , S , d m o d e l ) (B, S, d_{\mathrm{model}}) (B,S,dmodel)

通过以上步骤,多头注意力便可将序列的上下文信息捕获到不同的 head(不同的子空间),再合并形成新的隐层表示。

cao!

http://www.dtcms.com/wzjs/530571.html

相关文章:

  • 做外贸怎样免费登录外国网站网站模板图片
  • 公司企业如何做网站电商运营工资一般多少钱一个月
  • 深圳博彩软件网站建设百度知道登录
  • 做车品的网站新浪网今日乌鲁木齐新闻
  • 网站怎么让百度收录每日舆情信息报送
  • 毕设如何做网站石家庄seo外包的公司
  • 深圳最大的手机市场在什么地方西安网站关键词优化推荐
  • 武汉S001网站建设哪家好石家庄新闻头条新闻最新今天
  • 东莞如何建网站费用直播营销的优势有哪些
  • 域名解析完成网站怎么做福州seo推广
  • 做a视频网站seo怎么收费
  • 做品牌网站找谁电商网络推广
  • 做网站好的网站建设公司最新热搜新闻
  • 长春网站建设设计seo推广代理
  • 网站上怎么做产品介绍做网站seo推广公司
  • cms网站后台上传图片提示图片类型错误但是类型是正确的网络稿件投稿平台
  • 门户网站的特点和优势品牌宣传文案范文
  • 做网站的参考文献搜索引擎优化英文简称为
  • 溧阳城乡建设局网站深圳网站seo优化
  • 网站目录管理模板下载seo推广费用需要多少
  • 百度网站做防水补漏最近的国际新闻大事
  • 综合门户类网站有哪些seo排名分析
  • 邯郸做wap网站费用深圳seo优化服务
  • 奥鹏网页设计与网站建设网络营销的特点有哪些
  • 旅游网络营销长沙官网网站推广优化
  • 网站建设运营维护方案上海官网seo
  • 网站建设厂家百度网页入口官网
  • 建设网商城网站需要在那里备案腾讯广告
  • ubc网站谁做的sem扫描电镜
  • 专业的免费网站建设西安百度seo推广