当前位置： 首页 > news >正文

从数据流程梳理简单GPT模型各部分结构

news 来源：原创 2025/6/28 10:28:52

本文的流程梳理基于该参考文章的代码：这里

规定红色为每部分的输入，蓝色为输出，各个维度的大小如边长所示

  • 自注意力模块
    自注意力

  • 前馈神经网络模块
    在这里插入图片描述

  • 解码器层——解码器的组成单位
    在这里插入图片描述

  • 解码器
    在这里插入图片描述

  • 多头自注意力模块
    在这里插入图片描述

  • 编码器层——编码器模块组成单位
    在这里插入图片描述

  • 编码器
    在这里插入图片描述

  • GPT的简单构成
    在这里插入图片描述

相关文章：

  • [DP]多重背包
  • 【征程 6】工具链 VP 示例中日志打印解读
  • LeetCode hot 100—删除链表的倒数第N个节点
  • 基于kotlin native的C与kotlin互相调用
  • 数值稳定性
  • Linux开发工具——make/makefile
  • 十大排序-20分钟完成
  • Redis-list类型
  • Spring常见问题复习
  • Web前端页面搭建
  • python logging模块
  • ACM代码模式笔记
  • 学透Spring Boot — 011. 一篇文章学会Spring Test
  • 操作系统——2.4 （管程与死锁的基本概念）
  • 第六章:分布式共识_《凤凰架构：构建可靠的大型分布式系统》
  • 解码 __iter__ 和 itertools.islice - 迭代的艺术
  • 数据结构（5）——栈
  • 【Python爬虫高级技巧】BeautifulSoup高级教程：数据抓取、性能调优、反爬策略，全方位提升爬虫技能！
  • cpp自学 day19（多态）
  • 一周学会Pandas2 Python数据处理与分析-NumPy数据类型