当前位置：首页 > news >正文

PyTorch张量切片的陷阱：视图与副本

news 2025/9/25 15:05:24

问题导入：

在使用PyTorch框架开发中，你是否也也遇到过这样的问题，就是明明获取了张量的切片，却发现修改了原张量后，切片的结果也跟着变！

我今天训练一个一个做下游mask完形填空任务的语言模型，

在书写整理函数是，我是这样写的：

然后正常训练模型

过程中发现我的训练指标一下就变得非常好看

损失值下降非常快，正确率可以用飙升来形容。

我觉得不可思议，所以决定把训练好的模型，去加载出来做测试

可是测试结果就是：

无论我预测什么句子，结果都是:

[MASK]

可问题出在哪里呢？我检查了几遍代码，确定逻辑没有问题的，那为题出在哪？？

没错！就是前面在获取正式标签时，没有做拷贝，只是用了切片。

一起看看看

使得模型训练时，只要将第16位置的值预测为[MASK]就可以将损失值降到最低，从而得到虚高的
训练指标，但是本质模型值学会了，预测为[MASK] ,任何句子都是将16位置预测为[MASK]

原因解析

这里我先写一段测试代码

import torch
arr =[[1,2,3,4,5],[4,5,6,7,8]
]
arr = torch.tensor(arr)
result = arr[:,3]
print(result)  # tensor([4,7])
arr[:,3]=8
print(result)  # tensor([8,8])

这里可以发现，改变原始张量，通过切片获取的值也发生了改变、

但是这时候，可能很多朋友们回想为什么？

直觉告诉我们result应该保存修改前的值[4,7]，但实际输出却是修改后的值[8,8]。这与 Python 列表的行为截然不同：

在看看列表

# Python列表的行为
arr = [[1,2,3,4,5],[4,5,6,7,8]
]
result = [row[3] for row in arr]  # 列表推导式获取第3列
for row in arr:row[3] = 8
print(result)  # 输出：[4, 7]（保持原始值）

为什么会有这种差异？

答案就藏在 "视图" 与 "副本" 的区别中。

核心原理：视图（View）不是副本（Copy）

PyTorch 中，张量的切片操作返回的是视图（view） 而非副本（copy）：

视图：只是原张量数据的一个引用，不占用额外内存，与原张量共享同一块数据存储空间
副本：是原数据的完整复制，占用独立的内存空间，与原张量互不影响

这种设计是为了提高计算效率 —— 在处理大型张量时，频繁复制数据会导致内存浪费和性能下降。PyTorch 默认采用视图方式，避免了不必要的数据复制。

在我们的例子中：

result = arr[:,3]创建了一个视图，指向arr第 3 列的内存地址
arr[:,3] = 8修改了这块内存中的值
因此result也会显示修改后的值

如何解决

获取真正的副本如果需要获取不受原张量影响的独立切片，可使用.clone()方法显式创建副本：

import torch
arr = torch.tensor([[1,2,3,4,5],[4,5,6,7,8]
])
result = arr[:,3].clone()  # 创建副本而非视图
arr[:,3] = 8
print(result)  # 输出：tensor([4, 7])（保持原始值）

.clone()会创建一个全新的张量，拥有独立的内存空间，后续对原张量的修改不会影响副本。

所以之前我的获取label值的代码应该改为：