当前位置: 首页 > wzjs >正文

自已建设网站流程搜索引擎是什么

自已建设网站流程,搜索引擎是什么,怎么给网站做404,测试网站的方法本系列已完结,全部文章地址为: Transformer解析——(一)概述-CSDN博客 Transformer解析——(二)Attention注意力机制-CSDN博客 Transformer解析——(三)Encoder-CSDN博客 Transforme…

本系列已完结,全部文章地址为:

Transformer解析——(一)概述-CSDN博客

Transformer解析——(二)Attention注意力机制-CSDN博客

Transformer解析——(三)Encoder-CSDN博客

Transformer解析——(四)Decoder-CSDN博客

Transformer解析——(五)代码解析及拓展-CSDN博客

1 代码解析

代码参考了基于Tensorflow实现一个Transformer翻译器_tensorflow transformer-CSDN博客,非常感谢原作者。笔者在此基础上跑通并增加了很多注释,带注释的版本已上传到Github(https://github.com/cufewxy/transformer_with_remark)。注意需要下载语料库corpus放到目录data\transformer_demo\corpus下。具体细节请参考注释,下面仅展示整体代码结构。

2 Transformer拓展方法

Transformer有很多拓展方法,帮助模型减少参数。

方法

原理

低秩分解

注意力矩阵维度很大,但它是低秩的,可以使用低秩矩阵近似,减少参数

量化

将网络转换为低比特表示,从而减少计算需求和内存占用

剪枝

移出某个注意力权重/神经元/注意力头,从而减少参数

知识蒸馏

训练一个参数较小的学生模型,使其与参数较大的老师模型的距离越小越好。比如OpenAI的部分GPT模型API可以提供输出的前5大概率分布,可以训练学生模型的概率分布与老师模型越接近越好

KV Cache

在生成目标序列时,已生成的token与token之间的q与k相乘结果可以缓存下来,每次新生成一个token后传入自注意力模块不用重复计算

3 Attention与CNN、RNN的关系

CNN使用卷积核提取信息,只能考虑序列中某个数据点四周小范围的数据;而Attention是考虑了序列中每个数据点。通过设置特定的注意力权重,CNN实际是特殊的Attention。

RNN使用模型上一时刻的输出作为下一时刻的输入,因此只能考虑到序列某个数据点以前的数据,而Attention计算自注意力权重是考虑了整个序列。如果考虑双向RNN,RNN对于长序列的支持不好,比如某个位置i的数据点如果想考虑i-5的数据,必须通过i-1,i-2...i-5等过程,用5步才可以利用i-5的信息,可能发生梯度爆炸或梯度消失;而Attention是通过注意力权重直接一步利用i-5的信息。此外RNN必须逐步计算,Attention可以并行计算。RNN像是机制僵化、等级森严的结构,Attention更像是扁平化的组织。

4 参考资料

神经网络算法 - 一文搞懂Transformer

Transformer模型详解(图解最完整版)

基于Tensorflow实现一个Transformer翻译器_tensorflow transformer-CSDN博客

一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)_transformer剪枝-CSDN博客

李宏毅Transformer课程

http://www.dtcms.com/wzjs/47509.html

相关文章:

  • 个人网站建设方案书 范文下载app到手机上并安装
  • 智能小程序官网seo教程
  • 苏州网站建设推荐好先生科技关键词挖掘站长工具
  • 北京市建设工程信息网安徽兴创优化网站排名费用
  • 网站建设的类型磁力吧最佳搜索引擎
  • 重庆网站推广方法大全百度推广登录官网
  • 毛绒玩具外包加工网移动网站如何优化排名
  • 网站开发合同范本大全百度引流免费推广怎么做
  • 成都网站seo360推广官网
  • 中国十大软件上市公司排名seo网站优化培训要多少钱
  • 网上做涉黄网站怎么判seo网站管理
  • 网站建设主要流程图网站注册查询官网
  • 视频教育网站建设建网站的软件有哪些
  • 陕西做网站的公司百度公司地址
  • 门户网站建设情况报告佛山网站营销推广
  • 360打不开建设银行的网站雅思培训班价格一般多少
  • 做资源网站 文件能存储到云盘吗网推资源渠道
  • 如何做电影网站新浪疫情实时数据
  • 国外网站赚钱自媒体seo优化
  • 广州网络公司建站seo智能优化系统
  • 网站代码素材关键词优化工具
  • 企业做淘宝网站需要多少钱百度推广关键词规划师
  • app需要建网站吗百度账户托管公司
  • 教育培训手机网站模板下载石家庄网站建设排名
  • 外贸企业建网站教你如何快速建站
  • 4a网站建设公司营销策划机构
  • 外包公司做网站怎么样龙岗网站建设公司
  • 岳阳卖房网站google推广公司
  • 网上做的好金融网站郑州seo外包顾问
  • 大型网络游戏排行榜前十seo教学网seo