当前位置：首页 > news >正文

day 38

news 来源：原创 2025/5/31 2:36:31

Dataset类

定义数据的内容和格式（即“如何获取单个样本”），包括：

- 数据存储路径/来源（如文件路径、数据库查询）。

- 原始数据的读取方式（如图像解码为PIL对象、文本读取为字符串）。

- 样本的预处理逻辑（如裁剪、翻转、归一化等，通常通过`transform`参数实现）。

- 返回值格式（如`(image_tensor, label)`）。

重点：

PyTorch 要求所有数据集必须实现__getitem__和__len__，这样才能被DataLoader等工具兼容。这是一种接口约定，类似函数参数的规范。这意味着，如果你要创建一个自定义数据集，你需要实现这两个方法，否则PyTorch将无法识别你的数据集。

getitem方法

__getitem__方法用于让对象支持索引操作，当使用[]语法访问对象元素时，Python 会自动调用该方法。

# 示例代码
class MyList:def __init__(self):self.data = [10, 20, 30, 40, 50]def __getitem__(self, idx):return self.data[idx]# 创建类的实例
my_list_obj = MyList()
# 此时可以使用索引访问元素，这会自动调用__getitem__方法
print(my_list_obj[2])  # 输出：30

len方法

__len__方法用于返回对象中元素的数量，当使用内置函数len()作用于对象时，Python 会自动调用该方法。

class MyList:def __init__(self):self.data = [10, 20, 30, 40, 50]def __len__(self):return len(self.data)# 创建类的实例
my_list_obj = MyList()
# 使用len()函数获取元素数量，这会自动调用__len__方法
print(len(my_list_obj))  # 输出：5

Dataloader类

定义数据的加载方式和批量处理逻辑（即“如何高效批量获取数据”），包括：

- 批量大小（`batch_size`）。

- 是否打乱数据顺序（`shuffle`）。

# 3. 创建数据加载器
train_loader = DataLoader(train_dataset,batch_size=64, # 每个批次64张图片,一般是2的幂次方，这与GPU的计算效率有关shuffle=True # 随机打乱数据
)test_loader = DataLoader(test_dataset,batch_size=1000 # 每个批次1000张图片# shuffle=False # 测试时不需要打乱数据
)

作业：

了解下cifar数据集，尝试获取其中一张图片

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import numpy as np# 数据预处理
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])# 加载CIFAR - 10数据集
train_dataset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True,transform=transform
)# 随机选择一张图片
sample_idx = torch.randint(0, len(train_dataset), size=(1,)).item()
image, label = train_dataset[sample_idx]  # 获取图片和标签# 可视化原始图像（需要反归一化）
def imshow(img):img = img * 0.5 + 0.5  # 反标准化，对应CIFAR - 10的标准化参数npimg = img.numpy()npimg = np.transpose(npimg, (1, 2, 0))  # 调整维度顺序，从 (C, H, W) 到 (H, W, C)plt.imshow(npimg)plt.show()imshow(image)