体育健身网站建设上海网站建设caiyiduo

张量-pytroch网站-笔记

张量是一种特殊的数据结构，跟数组（array）和矩阵（matrix）非常相似。

张量和 NumPy 中的 ndarray 很像，不过张量可以在 GPU 或其他硬件加速器上运行。

事实上，张量和 NumPy 数组有时可以共享底层内存，也就是说，不用来回复制数据（具体可以参考：与 NumPy 的桥接）。

张量还被优化过，用来自动求导

概念	通俗理解
Tensor（张量）	就是一个高级的“数组”，支持多维度、高性能计算
用途	是 PyTorch 中处理数据的核心工具，用来装模型的输入、输出和参数
优势	可以在 GPU 上运行、和 NumPy 兼容、支持自动求导

 初始化一个张量（Tensor）
张量可以用很多不同的方法来创建。下面是一些例子：

从已有数据直接创建
张量可以直接用数据来创建，数据类型（比如整数、浮点数）会自动识别。

• 张量就像“多维数组”

• 你可以直接传入一个 Python 列表或列表嵌套，就能创建出张量

• PyTorch 会自动判断你传入的数据是什么类型，比如整数、浮点数等

 从 NumPy 数组创建张量
张量可以从 NumPy 数组创建

• PyTorch 和 NumPy 是好兄弟

• 可以：

  • 把 NumPy 数组变成张量：用于神经网络训练

  • 也可以把张量变回 NumPy 数组：用于数学计算或绘图

• 它们还可以共享内存，不需要复制，提高效率

• 

反过来，把张量变成 NumPy：

 

从另一个张量创建新张量：
新张量会自动保留原张量的属性（比如形状、数据类型），除非你手动改了它。 

使用 torch.ones_like(x_data) 创建一个 和 x_data 形状完全相同，但元素全部为 1 的张量。 

使用 torch.rand_like(x_data) 创建一个和 x_data 形状一样的 随机数张量（数值范围在 [0, 1) 之间的浮点数）

使用随机值或常数值创建张量时，shape 是一个表示张量维度的元组。在下面这些函数中，shape 用来确定输出张量的维度。

张量（Tensor）的属性用来描述它的：

1. 形状（shape）

2. 数据类型（datatype）

3. 所在设备（device）

 

PyTorch 提供了 超过 1200 种张量操作，包括：

• 算术运算（加减乘除）

• 线性代数运算（矩阵乘法、逆矩阵等）

• 矩阵操作（转置、索引、切片等）

• 采样（比如从概率分布中随机取样）

所有这些操作都可以在：

• CPU

• 或者加速器上运行，例如：

  • CUDA（NVIDIA 的 GPU）

  • MPS（Mac 上的 GPU 加速）

  • MTIA, XPU（英特尔或其他厂商的加速器）

 

如果在用 Google Colab（一个在线的 Python 运行环境）：

• 可以点击菜单栏的：

  Runtime > Change runtime type > GPU

• 来分配一个 GPU 加速器，从而提升运算效率。

 

• 默认情况下，张量是在 CPU 上创建的。

• 如果想让它在 GPU 上运算，就需要用 .to() 方法显式地移动：

• device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  x = x.to(device)
  

  在不同设备（比如从 CPU → GPU）之间移动大张量时，会消耗时间和内存。

• PyTorch 支持大量张量操作，这些操作可以在 CPU 或各种加速器（如 GPU）上运行。但默认张量是在 CPU 上，需要手动移动到 GPU，而且大张量的设备间拷贝是耗资源的，要谨慎操作。

• 你可以尝试一下列表中的一些操作（指张量的操作）。如果你熟悉 NumPy 的 API（编程接口），你会发现 PyTorch 的张量 API 用起来非常简单，就像“轻而易举”一样

• 

4行4列 标准索引和切片方法

dim=1 列，cat合并

• torch.cat 是 PyTorch 中的一个函数，用来拼接多个张量。

• 拼接时要求：除了指定拼接的那个维度以外，其他维度必须一致。

1. tensor.T：表示张量 tensor 的 转置（把行列对换）。

2. @ 和 matmul() 都是做 矩阵乘法 的方式，它们等价。

3. out=y3 是在指定：把结果 直接存储进 y3，不返回新张量，节省内存。

• 这部分不是做矩阵乘法，而是逐个元素相乘（element-wise multiply）

• 也就是说 tensor[i][j] * tensor[i][j]，每个元素单独相乘。

• 和矩阵乘法的规则不同，不涉及转置、不涉及矩阵行列数匹配。

• 总结对比：

  运算类型	操作符 / 函数	是否逐元素？	是否需要转置？	输出维度变化？
  矩阵乘法	@, matmul()	❌ 否	✅ 通常需要转置	✅ 会变
  逐元素乘法（Hadamard）	*, mul()	✅ 是	❌ 不需要	❌ 不变

 单元素张量（single-element tensor）是指只有一个元素的张量。
比如你对一个张量做了求和（sum）、平均（mean）等操作，结果就是一个单个值的张量。
如果你想把这个张量变成普通的 Python 数值（比如 int 或 float），可以使用 .item() 方法

In-place operations（就地操作）是指那些直接把结果存回原变量的操作。
这类操作的特点是：不会创建新张量，而是直接修改原张量本身。

它们通常在函数名后面加一个 下划线 _ 来表示，比如：

• x.copy_(y)：把 y 的值复制进 x，直接修改 x 的内容。

• x.t_()：将 x 转置，结果直接替代原来的 x。

• 

• 

 就地操作（in-place operations）虽然可以节省一些内存，
但在计算梯度（导数）时可能会出问题，因为它们会立即丢失计算历史（history），
所以一般不推荐在需要反向传播（backpropagation）的时候使用 in-place 操作。

在 PyTorch 中，自动求导（autograd）系统需要记录每一个操作的计算历史，以便后面做反向传播（计算梯度）。

• 普通操作会保留这些历史；

• 就地操作（比如 x += 1 或 x.copy_(...)）会直接覆盖原变量的值，导致 PyTorch 无法回溯计算路径，从而报错或者计算错误。

• 

• in-place 操作虽然省内存，但有可能破坏 PyTorch 的计算图，导致梯度无法正确求解，因此在训练模型时最好避免使用。

 

当张量（Tensor）位于 CPU 上时，它和 NumPy 数组可以共享底层内存地址（memory location），
所以修改其中一个，另一个也会跟着改变。

 

改动 NumPy，也会影响张量