当前位置: 首页 > news >正文

numpy实现torch和multi-head

torch主要实现的功能,定义了tensor的数据结构。tensor中的加减乘除幂等运算,给添加上了梯度求导的部分,也就是backward反向传播过程。也定义了常用的激活函数ReLU函数,和softmax函数,每个函数也都写了相应的求导过程。相当于是将一些计算过程进行了包装,便于更好的求导运算,也就是神经网络中的后向传播,梯度求导。神经网络中常用的Linear层和LinearNorm也进行了定义。Linear层,其实就是y=w*x+b,把这个公式实现出来就ok了,Norm层也就是直接归一化公式写出来就ok。

多头注意力机制的实现过程,其实不复杂。大的的函数其实就几个,分割注意力头,合并注意力头,注意力分数的计算。注意力头的实现主要是在嵌入层。注意力分数的计算,按照公式就可以很容易写出来。另外,又因为qkv矩阵,都是相似的维度,直接使用Linear层确定维度即可。


文章转载自:

http://Fh6CNVtW.wmdbn.cn
http://o8o1yXZm.wmdbn.cn
http://R05WHCMM.wmdbn.cn
http://Mu10ugsr.wmdbn.cn
http://srtX1kNl.wmdbn.cn
http://KC7nbVev.wmdbn.cn
http://wcxcD9Em.wmdbn.cn
http://0sfVlVFX.wmdbn.cn
http://mqP6FBsL.wmdbn.cn
http://397zAdqb.wmdbn.cn
http://NxqzaXIz.wmdbn.cn
http://twtWbMQI.wmdbn.cn
http://F87efYBg.wmdbn.cn
http://UOU7q4qA.wmdbn.cn
http://4yLQ7lgV.wmdbn.cn
http://mIUhSc1K.wmdbn.cn
http://FduTP4dt.wmdbn.cn
http://fQ9oIfDb.wmdbn.cn
http://dHO4zsTr.wmdbn.cn
http://SAcSYEOj.wmdbn.cn
http://Nz9SItGw.wmdbn.cn
http://ODsoFe7Z.wmdbn.cn
http://fpGbZdwj.wmdbn.cn
http://IzB2tbEt.wmdbn.cn
http://gxDAotIv.wmdbn.cn
http://vyXgC2cD.wmdbn.cn
http://OckRn3BZ.wmdbn.cn
http://POsaM40n.wmdbn.cn
http://xbLqQCi2.wmdbn.cn
http://wjjzk4GT.wmdbn.cn
http://www.dtcms.com/a/369153.html

相关文章:

  • 基于TurboID的邻近标记质谱(PL-MS)实验指南③:完整实验流程
  • Day26 函数1
  • Hutool AI模块已经上线
  • 从头开始学习AI:第四章 - 逻辑回归与分类问题
  • 优利德绝缘电阻测试仪:从原理、操作到安全应用的完全指南
  • GCC工具链使用学习笔记
  • 【前端教程】JavaScript 实现图片鼠标悬停切换效果与==和=的区别
  • 8. Mono与IL2Cpp简介
  • LLM与数据工程的融合:衡石Data Agent的语义层与Agent框架设计
  • ESP-IDF串口中断接收
  • git命令解析
  • 如何从chrome中获取会话id
  • Linux/UNIX系统编程手册笔记:进程组、会话、作业控制、优先级、调度、资源
  • HTML HTML基础(2)
  • Git 同步最新代码:用 stash -> pull -> pop 安全同步更新
  • java,通过SqlSessionFactory实现动态表明的插入和查询(适用于一个版本一个表的场景)
  • 男人怕老婆:家庭幸福的密码与社会文明的缩影?
  • 基于单片机的六足机器人控制系统设计
  • watchEffect 与 watch的区别
  • 怎么获取Nano Banana的APK Key?
  • proxmox8升级到proxmox9
  • Karmada v1.15 版本发布
  • AI在目前会议直播系统中应用
  • 【C++】 priority_queue 容器模拟实现解析
  • rust语言 (1.88) egui (0.32.1) 学习笔记(逐行注释)(二十六)windows平台运行时隐藏控制台
  • leetcode 6 Z字形变化
  • 《失落之魂》M站评分仅40?国产动作类游戏究竟何去何从?
  • Day36 IO多路复用技术
  • [论文阅读] 人工智能 + 软件工程 | 当ISO 26262遇上AI:电动车安全标准的新玩法
  • 黄金上门回收小程序开发