当前位置： 首页 > news >正文

从数据流程梳理简单GPT模型各部分结构

news 2025/8/14 4:08:30

本文的流程梳理基于该参考文章的代码：这里

规定红色为每部分的输入，蓝色为输出，各个维度的大小如边长所示

  • 自注意力模块
    自注意力

  • 前馈神经网络模块
    在这里插入图片描述

  • 解码器层——解码器的组成单位
    在这里插入图片描述

  • 解码器
    在这里插入图片描述

  • 多头自注意力模块
    在这里插入图片描述

  • 编码器层——编码器模块组成单位
    在这里插入图片描述

  • 编码器
    在这里插入图片描述

  • GPT的简单构成
    在这里插入图片描述

http://www.dtcms.com/a/114101.html

相关文章：

  • [DP]多重背包
  • 【征程 6】工具链 VP 示例中日志打印解读
  • LeetCode hot 100—删除链表的倒数第N个节点
  • 基于kotlin native的C与kotlin互相调用
  • 数值稳定性
  • Linux开发工具——make/makefile
  • 十大排序-20分钟完成
  • Redis-list类型
  • Spring常见问题复习
  • Web前端页面搭建
  • python logging模块
  • ACM代码模式笔记
  • 学透Spring Boot — 011. 一篇文章学会Spring Test
  • 操作系统——2.4 （管程与死锁的基本概念）
  • 第六章:分布式共识_《凤凰架构：构建可靠的大型分布式系统》
  • 解码 __iter__ 和 itertools.islice - 迭代的艺术
  • 数据结构（5）——栈
  • 【Python爬虫高级技巧】BeautifulSoup高级教程：数据抓取、性能调优、反爬策略，全方位提升爬虫技能！
  • cpp自学 day19（多态）
  • 一周学会Pandas2 Python数据处理与分析-NumPy数据类型
  • 【JavaWeb-Spring boot】学习笔记
  • 通过枚举、AOP、注解、反射填充公共字段
  • MySQL的进阶语法8（SQL优化——insert、主键、order by、group by、limit、count和update）
  • k8s pod security context 总结笔记
  • 自旋锁（C++实现）
  • js中一些便捷用法
  • 记一次表格数据排序优化（一）--排序30000条数据有多卡
  • MySQL基础 [一] - Ubuntu版本安装
  • Cribl 创建Dataset
  • NDK开发：JNI编程基础