10、向量与矩阵基础 - 深度学习的数学语言
学习目标:建立向量和矩阵的几何直观理解,掌握线性代数的核心概念,培养空间思维能力,为手搓大模型奠定扎实的数学基础
想象一下,当你使用GPT进行对话时,每个词汇都被转换成高维向量,整个对话历史变成一个巨大的矩阵。模型的"理解"过程,本质上就是在这个高维空间中寻找模式,通过无数次矩阵运算来生成回复。
向量(Vector) 是深度学习的基础语言单元 - 每个数据点、每个词汇、每个图像像素都可以表示为向量。矩阵(Matrix) 则是神经网络的核心引擎 - 每一层的权重参数、每次前向传播、每次反向传播都离不开矩阵运算。
本节为代码,数学原理:9、从水果店账本到AI大脑:矩阵运算如何驱动现代人工智能?零基础完全指南(Transformer数学原理)
没有基础的建议要看一下,要知其然知其所以然。
掌握向量和矩阵,你就掌握了读懂大模型"思维过程"的钥匙。
9.1 向量的本质:从直觉到深度学习
> 向量的几何直观与数据表示
在日常生活中,向量其实无处不在。GPS导航告诉你"向东北方向行驶2公里",这就是一个2D向量:方向(东北)和大小(2公里)。在深度学习中,向量扮演了更加重要的角色:
- 词向量</