当前位置: 首页 > wzjs >正文

日照网站制作公司青岛seo网站建设公司

日照网站制作公司,青岛seo网站建设公司,简约网站后台,柳州建设网栗园新居注意力机制的发展经历了MHA,MQA,GQA,MLA。 时间复杂度:MHA为O(n),MQA、GQA、MLA通过优化降低至O(n) 为了减少KV缓存,主要有以下几种方法: 共享KV:多个Head共享使用1组KV,将原来每个Head一个KV&#xff0c…

在这里插入图片描述
注意力机制的发展经历了MHA,MQA,GQA,MLA。
时间复杂度:MHA为O(n²),MQA、GQA、MLA通过优化降低至O(n)
在这里插入图片描述
为了减少KV缓存,主要有以下几种方法:

  • 共享KV:多个Head共享使用1组KV,将原来每个Head一个KV,变成1组Head一个KV,来压缩KV的存储。代表方法:GQA,MQA等
  • 窗口KV:针对长序列控制一个计算KV的窗口,KV
    cache只保存窗口内的结果(窗口长度远小于序列长度),超出窗口的KV会被丢弃,通过这种方法能减少KV的存储,当然也会损失一定的长文推理效果。代表方法:Longformer等
  • 量化压缩:基于量化的方法,通过更低的Bit位来保存KV,将单KV结果进一步压缩,代表方法:INT8等
  • 计算优化:通过优化计算过程,减少访存换入换出的次数,让更多计算在片上存储SRAM进行,以提升推理性能,代表方法:flashAttention等

一、过程

1.KV部分

对于输入向量,使用矩阵W_DUK进行联合压缩,得到低秩矩阵C_KV。
然后分别使用W_UK和W_UV对K和V进行还原,得到K_C和V_C
为了加入ROPE旋转位置编码,从输入向量中通过线性映射得到共享的K_R。
合并K_C和K_R,得到完整的K。

2.Q 部分

对于输入向量,通过W_DQ压缩为Q_C。
然后从Q_C进行线性变换,得到Q_R。
一样合并,得到完整的Q。

3.注意力计算

进入正常的注意力计算公式。

4.整体公式

在这里插入图片描述

缓存

在MLA中,KV缓存,只需要缓存W_DUK和K_R即可。

二、问答环节

1.为什么MLA推理的计算量那么大,推理效率却高

答:我们可以将LLM的推理分两部分:第一个Token的生成(Prefill)和后续每个Token的生成(Generation),Prefill阶段涉及到对输入所有Token的并行计算,然后把对应的KV Cache存下来,这部分对于计算、带宽和显存都是瓶颈,MLA虽然增大了计算量,但KV Cache的减少也降低了显存和带宽的压力,大家半斤八两;

但是Generation阶段由于每步只计算一个Token,实际上它更多的是带宽瓶颈和显存瓶颈,因此MLA的引入理论上能明显提高Generation的速度。

2.mla和lora的区别

答:
1,目标上,MLA是一种注意力机制优化方案 ,旨在通过低秩分解压缩键值(KV)矩阵,减少计算复杂度;LoRA 是一种模型微调技术。
2.结构上,MLA直接改造注意力层,LORA是在原模型的权重矩阵旁插入低秩分解的适配层。
3.前者要加ROPE位置编码,后者没有。

3.MLA的矩阵吸收

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

参考文献

deepseek技术解读(1)-彻底理解MLA(Multi-Head Latent Attention) - 姜富春的文章 - 知乎
https://zhuanlan.zhihu.com/p/16730036197
缓存与效果的极限拉扯:从MHA、MQA、GQA到MLA - 苏剑林的文章 - 知乎
https://zhuanlan.zhihu.com/p/700588653
再读MLA,还有多少细节是你不知道的 - 猛猿的文章 - 知乎
https://zhuanlan.zhihu.com/p/19585986234
https://blog.csdn.net/v_JULY_v/article/details/141535986?fromshare=blogdetail&sharetype=blogdetail&sharerId=141535986&sharerefer=PC&sharesource=qq_43814415&sharefrom=from_link

http://www.dtcms.com/wzjs/119636.html

相关文章:

  • 做一家开发网站的公司简介百度网盘app官方下载
  • 果蔬网站规划建设方案厦门百度广告开户
  • 有的网站在浏览器打不开怎么办宁波seo关键词优化教程
  • 专业的集团网站设计网络口碑营销的经典案例
  • 天津做网架公司广州网站优化方式
  • 街道门户网站的建设思路广州谷歌seo公司
  • php网站开发工程师待遇网页设计与制作教程
  • php做网站框架网站推广的方法有哪几种
  • 艺术设计与制作seo概念
  • html5移动网站制作教程百度统计网站
  • 表格做的网站影响收录怎样宣传自己的产品
  • 高端网站开发步骤网络营销的优势
  • 免费咨询的方法seo技术建站
  • 长春最新通告今天如何优化关键词排名快速首页
  • 成都做小程序哪个服务最好西安seo网站排名
  • 做网站基本seo优化的网站
  • 做足球推荐网站能赚钱吗一件代发48个货源网站
  • 青岛哪家做网站好汕头seo建站
  • java+网站开发开什么书网站开发公司哪家好
  • 如何购买网站主机百度站长平台如何添加网站
  • 网站 栏目 英语网站免费搭建平台
  • 中小型网站建设有效的网站推广方式
  • 青岛城阳做网站seo怎么做关键词排名
  • 上海网站域名注册价格建站平台
  • 重庆特种作业证件查询合肥网络推广优化公司
  • 外国人 做的中国字网站百度网盘帐号登录入口
  • 如何做网站ab测试seo点击排名
  • 盐城seo网站优化外链屏蔽逐步解除
  • 网站的引导页面是什么意思郑州seo优化顾问
  • 好看的网站地图样式企业在线培训平台