安徽住房城乡建设厅网站技术服务外包公司
目录
数据增强
常用的数据增强方法
调整学习率
学习率
调整学习率
调整学习率的方法
有序调整
等间隔调整
多间隔调整
指数衰减
余弦退火
自适应调整
自定义调整
数据增强
数据增强是通过对训练数据进行各种变换（如旋转、翻转、裁剪等），生成新的训练样本，从而增加数据的多样性。它的主要目的是：
-
提高模型的泛化能力。
-
防止过拟合。
-
在数据量不足的情况下，有效扩展数据集。
常用的数据增强方法
-
随机翻转（Random Flip）
水平翻转：RandomHorizontalFlip垂直翻转：RandomVerticalFlip -
随机旋转（Random Rotation）：
随机旋转一定角度，例如RandomRotation(30)表示在 [-30°, 30°] 范围内随机旋转。 -
随机裁剪（Random Crop）：
随机裁剪图像的一部分，例如RandomResizedCrop(256)表示随机裁剪并调整大小为 256x256。 -
颜色变换（Color Jitter）：
随机调整亮度、对比度、饱和度和色调，例如ColorJitter(brightness=0.4, contrast=0.4, saturation=0.4, hue=0.1)。 -
高斯噪声（Gaussian Noise）：
为图像添加随机噪声。 -
归一化（Normalization）：
将图像像素值归一化到特定范围，例如Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])。
例如：定义训练集和验证集的图像的数据增强模型
data_transforms = {'train': transforms.Compose([ # transforms.Compose用于将多个图像预处理操作整合在一起transforms.Resize([300,300]), # 使图像变换大小transforms.RandomRotation(45), # 随机旋转，-42到45度之间随机选transforms.CenterCrop(256), # 从中心开始裁剪[256.256]transforms.RandomHorizontalFlip(p=0.5), # 随机水平旋转，随机概率为0.5transforms.RandomVerticalFlip(p=0.5), # 随机垂直旋转，随机概率0.5transforms.ColorJitter(brightness=0.2,contrast=0.1,saturation=0.1,hue=0.1), # 随机改变图像参数，参数分别表示 亮度、对比度、饱和度、色温transforms.RandomGrayscale(p=0.1), # 概率转换成灰度率，3通道就是R=G=Btransforms.ToTensor(), # 将PIL图像或NumPy ndarray转换为tensor类型，并将像素值的范围从[0, 255]缩放到[0.0, 1.0]，默认把通道维度放在前面transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225]) # 给定均值和标准差对图像进行标准化，前者为均值，后者为标准差，三个值表示三通道图像]),'valid': # 验证集transforms.Compose([ # 整合图像处理的操作transforms.Resize([256,256]), # 缩放图像尺寸transforms.ToTensor(), # 转换为torch类型transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225]) # 标准化])
} 嵌套定义好的数据增强模型
training_data=food_dataset(file_path=r'./train.txt',transform=data_transform['train'])
test_data=food_dataset(file_path=r'./test.txt',transform=data_transform['valid'])调整学习率
学习率
-
定义
学习率是优化算法（如 SGD、Adam）中的一个超参数，控制模型参数的更新步长。
-
作用
-
如果学习率太大，可能导致参数更新过快，无法收敛甚至发散。
-
如果学习率太小，训练速度会变慢，可能陷入局部最优。
-
-
重要性：合适的学习率是模型训练成功的关键。
调整学习率
学习率调整（Learning Rate Scheduling） 是优化模型训练的关键技术之一。深度学习中的学习率决定了模型参数在每次更新时的步长大小，合适的学习率可以加速收敛并提高模型的性能。常用的学习率有0.1、0.01以及0.001等，学习率越大则权重更新越快。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好的收敛到最优解。
目的
调整学习率的目的是为了能够更好地优化模型，避免训练过程中出现的一些问题，如梯度爆炸或梯度消失、训练过程陷入局部极小值等
调整学习率的方法
不同方法调整学习率所对应的横轴epoch值与纵轴学习率的关系如图
PyTorch 提供了多种学习率调度器，位于 torch.optim.lr_scheduler 模块中。
有序调整
等间隔调整
多间隔调整
指数衰减
余弦退火
自适应调整
自定义调整
