当前位置： 首页 > news >正文

4.大语言模型预备数学知识

news 2025/9/17 15:19:24

大语言模型预备数学知识

复习一下在大语言模型中用到的矩阵和向量的运算，及概率统计和神经网络中常用概念。

矩阵的运算

矩阵

在这里插入图片描述

矩阵加减法

条件：行数列数相同的矩阵才能做矩阵加减法

在这里插入图片描述

数值与矩阵的乘除法

在这里插入图片描述
在这里插入图片描述

矩阵乘法

条件：矩阵A的列数 = 矩阵B的行数时， A才能乘B

因为矩阵乘法是前一个矩阵各行中各个元素乘后一个矩阵各列中对于元素，所以要求矩阵A的列数 = 矩阵B的行数。

在这里插入图片描述

矩阵乘法性质

在这里插入图片描述

矩阵的转置

转置：矩阵所有的行按顺序变成列

在这里插入图片描述

转置的性质

在这里插入图片描述

向量的运算

向量

本博客后续，默认用行向量来表示默认向量

在这里插入图片描述

向量的几何意义

起点在坐标原点，终点在坐标数值的向量

在这里插入图片描述

向量的加减法

条件：向量a，b的元素的个数相同

在这里插入图片描述

向量加法，以零点为起点，以b’终点为终点的向量（b’的起点为a的终点）。减法就相当于 加 负向量

在这里插入图片描述

数值与向量的乘除法

a向量乘2，表示对a向量伸长了两倍。

在这里插入图片描述

向量的乘法

向量乘法是向量的点积运算，又称内积

点积：行向量乘列向量，结果为标量

在这里插入图片描述

点积点几何含义（常用）

反映了两个向量相似程度，当两个向量方向一致时，夹角为0，cos夹角 = 1，两向量长度不变则此时两向量的点积最大，表示两向量此时最相似。

但点积的大小也跟向量a，b的长度有关，所以可以进行归一化，即分别对每个向量除各自的长度（模），称为余弦相似度。（归一化了，就跟具体的向量长度没关系了，其值完全反映两个向量的相似性）
在这里插入图片描述

矩阵和向量的乘法

向量（指行向量）右乘矩阵（矩阵在右边），条件：矩阵行数与向量元素个数相等。相乘结果为一个行向量，其元素个数为矩阵的列数。

在这里插入图片描述

向量（指列向量）左乘矩阵（矩阵在左边），条件：矩阵列数与向量元素个数相等。相乘结果为一个列向量，其元素个数为矩阵的行数。

在这里插入图片描述

矩阵和向量的乘法的几何意义

向量右乘矩阵的几何意义

  • 相似性角度

在这里插入图片描述

  • 空间变换角度，表示对向量的旋转操作
    在这里插入图片描述

在这里插入图片描述

a在新坐标系中的坐标

概率

数学期望与方差

在这里插入图片描述

数学期望：离散型随机变量每个可能的取值，与该取值对应的概率相乘，统一相加的结果，反映取值的平均值

在这里插入图片描述

在这里插入图片描述

蒙特卡洛方法（通过采样的方法）

即计算数学期望值的时候，通过采样计算平均值的方式去近似（蒙特卡洛方法）。

为什么？因为我们不知道每种概率是多少，就通过采样的办法去近似，当采样数量足够多时，采样平均值就可被认为数学期望。

在这里插入图片描述

在这里插入图片描述

数学期望的性质

在这里插入图片描述

在这里插入图片描述

最后一条性质指，随机变量x，任何可能都>=0，则数学期望>=0

方差

在这里插入图片描述

在这里插入图片描述

计算方差的过程

如何理解评价值除n，方差除n-1。因为前面求平均值时除n，知道了n个数中n-1个就可以把第n个算出来，它们之间有一定相关性。除n-1得到的才是无偏估计。

在这里插入图片描述

举例

在这里插入图片描述

方差的性质

在这里插入图片描述

马尔可夫过程

马尔可夫过程是一个随机过程，且未来的发展只与当前状态有关，而跟之前的状态无关。一般来说都是一种近似的结果，通过近似来简化计算。

一般的随机过程

X(t)的取值称为随机过程在时间t的状态

在这里插入图片描述

马尔可夫过程

在这里插入图片描述

神经网络与深度学习

梯度下降

方向：如果斜率(导数)>0,则x减；如果斜率(导数)<0,则x加（即修改的方向跟导数的方向相反）

大小：离最低点（最优值）远时，比较陡（导数绝对值越大越陡）—导数绝对值越大，修改量越大。

在这里插入图片描述

震荡问题，因为导数趋于∞时，会导致震荡, 引入一个大于0的常量步长，防止震荡很大，使其一步步过来。

在这里插入图片描述

在神经网络中因为参数量很大所以用偏导数

在这里插入图片描述

导数反映某一处切线斜率，梯度表示在曲线中的某个切平面的斜率。梯度下降核心思想：沿着梯度的反方向，看那个地方下降最快，沿最陡峭地方往下走，一点点找到最优值。

在这里插入图片描述

常见梯度下降算法

在这里插入图片描述


文章转载自：

http://osQkzxGS.crrjg.cn
http://dBmvm78z.crrjg.cn
http://xGffq4y0.crrjg.cn
http://3k8bMqDr.crrjg.cn
http://I6MuaQhj.crrjg.cn
http://BnOXC9CH.crrjg.cn
http://NHz83bym.crrjg.cn
http://gxkQv7kJ.crrjg.cn
http://zb0EL6ck.crrjg.cn
http://UAs7mp3Q.crrjg.cn
http://lNlHIZjk.crrjg.cn
http://gnRfj0YJ.crrjg.cn
http://flBh9a54.crrjg.cn
http://RwSF6kJv.crrjg.cn
http://J0o971SF.crrjg.cn
http://69NEVuo4.crrjg.cn
http://Z6cWEola.crrjg.cn
http://gtl10oWY.crrjg.cn
http://TrCQTjuR.crrjg.cn
http://roBHvLgv.crrjg.cn
http://9CQyqRt7.crrjg.cn
http://Uy9fsFjI.crrjg.cn
http://gzIVykDZ.crrjg.cn
http://DEAS3uB3.crrjg.cn
http://J7gOFoSu.crrjg.cn
http://kUMTZ2kw.crrjg.cn
http://fjSv7cQY.crrjg.cn
http://t6zQSPJR.crrjg.cn
http://uLJXzntI.crrjg.cn
http://Sh79yiHP.crrjg.cn
http://www.dtcms.com/a/226700.html

相关文章：

  • 【iOS（swift）笔记-13】App版本不升级时本地数据库sqlite更新逻辑一
  • 企业展示型网站模板HTML5网站模板下载指南
  • PostgreSQL 在生物信息学中的应用
  • Java并发编程实战 Day 4：线程间通信机制
  • 网络节点排查
  • cpper 转 Golang
  • 家政维修平台实战12搭建服务详情功能
  • 实现按天更新vintage并热力图可视化
  • 如何用AI写作？
  • SQL Views（视图）
  • SQL快速入门【转自牛客网】
  • MCP协议学习
  • Transformer核心技术深度解析：多头注意力机制与架构精粹
  • 20250602在荣品的PRO-RK3566开发板的Android13下打开关机对话框
  • 【Linux】网络--网络层--IP协议
  • 抖音商城抓包 分析
  • 基于Python学习《Head First设计模式》第三章 装饰者模式
  • Android基于LiquidFun引擎实现软体碰撞效果
  • leetcode hot100刷题日记——35.子集
  • day17 leetcode-hot100-34（链表13）
  • 每日算法刷题计划Day20 6.2:leetcode二分答案3道题，用时1h20min
  • 从 LeetCode 到日志匹配：一行 Swift 实现规则识别
  • 力扣LeetBook数组和字符串--数组简介
  • 【软件测试】web自动化:Pycharm+Selenium+Firefox（一）
  • NodeJS全栈WEB3面试题——P8项目实战类问题（偏全栈）
  • 电脑wifi显示已禁用怎么点都无法启用
  • Java线程生命周期详解
  • GStreamer开发笔记（六）：gstreamer基本概念：组件、箱柜、管道、衬垫、链接组件
  • 【存储基础】存储设备和服务器的关系和区别
  • 4、ubuntu系统 | 文本和目录操作函数