【GPT模型训练】第二课：张量与秩：从数学本质到深度学习的基础概念解析

张量（Tensor）的定义

在数学和物理学中，张量是一种多维数组，用于表示物理量或几何实体在不同坐标系下的变换关系。在机器学习和深度学习中，张量是数据的基本表示形式，类似于多维数组或矩阵的扩展。

关键特点：

• 维度灵活性：可以是标量（0维）、向量（1维）、矩阵（2维）或更高维度。
• 数据存储：在深度学习框架（如PyTorch、TensorFlow）中，张量用于存储和处理数据（如图像、文本、音频）。
• 数学运算：支持各种线性代数运算（如加法、乘法、卷积等）。

示例：

• 标量（0维张量）：5 或 3.14
• 向量（1维张量）：[1, 2, 3]
• 矩阵（2维张量）：[[1, 2], [3, 4]]
• 3维张量：图像数据（高度×宽度×通道数）

张量的秩（Rank）

在张量的上下文中，秩指的是张量的维度数，即需要多少个索引来唯一标识张量中的一个元素。注意：这里的“秩”与线性代数中矩阵的“秩”（Rank，指矩阵的列秩或行秩）不同。

示例：

• 标量的秩为 0（无需索引）。
• 向量 [1, 2, 3] 的秩为 1（索引如 [0]）。
• 矩阵 [[1, 2], [3, 4]] 的秩为 2（索引如 [0, 1]）。
• 3维张量（如RGB图像）的秩为 3（索引如 [0, 1, 2]）。

“秩”的拼音

在中文中，“秩”的拼音是 zhì（第四声，音同“智”）。在数学和张量的语境中，“秩”表示维度数，发音为 zhì。

常见混淆点

1. 张量的秩 vs 矩阵的秩：

   • 张量的秩：指维度数（如2维矩阵的秩为2）。
   • 矩阵的秩（线性代数）：指矩阵的列秩或行秩，即矩阵中线性无关的列/行数。

2. 与深度学习框架的术语对比：

   • 在PyTorch/TensorFlow中，张量的“秩”通常称为“维度”（Dimension），而“rank”可能特指线性代数中的秩。例如：

     import torch
     x = torch.tensor([[1, 2], [3, 4]])
     print(x.dim())  # 输出: 2（表示张量的维度数）
     

总结

• 张量：多维数组，用于表示数据或物理量。
• 张量的秩：张量的维度数，即需要多少个索引来定位元素。
• 拼音：秩（zhì）。

理解张量和秩的概念是学习深度学习和线性代数的基础！