当前位置：首页 > news >正文

卷积神经网络的简单实战项目

news 来源：原创 2025/5/7 8:54:26

基于迁移学习和卷积神经网络的动物种类识别

1、项目简介

1.1项目名称

基于迁移学习和卷积神经网络的动物种类识别

1.2项目简介

在生物多样性研究、生态保护以及动物相关产业等领域，准确快速地识别动物种类具有重要意义。传统的人工识别方式效率低下且易出错，难以满足大规模、复杂场景下的动物种类识别需求。随着人工智能技术的飞速发展，利用深度学习方法来解决动物种类识别问题成为研究热点。本项目针对动物细粒度分类任务，提出基于ResNet-18架构的深度迁移学习方案。通过引入注意力机制和优化数据增强策略，在自建动物图像数据集上实现了91.67%的测试准确率

将预处理后的动物图像数据输入到迁移学习模型中进行训练。在训练过程中，冻结预训练模型的部分层，只对后面的全连接层进行训练，以避免破坏已学习到的通用特征。同时，采用适当的优化算法（如 Adam）、损失函数（如交叉熵损失）以及正则化方法（如 L2 正则化、dropout）来提高模型的训练效果和泛化能力。使用验证集对训练好的模型进行评估，计算准确率、召回率、F1 值等指标，分析模型的性能。具有广泛的应用前景。

2、数据介绍

2.1 数据来源

本项目的动物种类识别数据集来源于 Kaggle 网站上的 animal-10 数据集。该数据集涵盖了 10 种不同动物类别的图像，具有丰富的多样性和代表性，适合用于训练和测试动物种类识别模型。

2.2 数据集内容

Animal-10 数据集包含了 10 种不同的动物类别，具体包括：

类别名称	描述
猫	家猫
狗	家犬
马	各类马匹
牛	黄牛等
骆驼	单峰驼等
绵羊	各类绵羊
灰狐	灰狐
豚鼠	豚鼠
驴	各类驴
水牛	水牛

每个类别包含约 1000 张图像，图像的尺寸和拍摄场景各异，包括动物在自然栖息地、动物园、农场等不同环境下的照片。这些图像在光照条件、拍摄角度和动物姿态等方面也存在较大差异，增加了数据集的复杂性和挑战性，同时也使其更具实际应用价值。

2.3 数据预处理

在将数据集用于模型训练之前，为了提高模型的性能和泛化能力，对数据集进行了以下预处理操作：

2.4 图像大小调整

使用 torchvision.transforms.Resize((224,224)) 将所有图像的大小统一调整为 224×224 像素。这一操作的主要目的是使所有图像具有相同的尺寸，以满足预训练模型（ResNet-18）的输入要求。调整图像大小可以确保模型能够处理不同原始尺寸的图像，并且不会因为图像尺寸的差异而导致信息丢失或计算错误。

2.5 数据增强

数据增强是通过一系列随机变换来扩充训练数据集的有效方法，可以提高模型的泛化能力和鲁棒性。在本项目中，采用了以下数据增强技术：

随机旋转：对图像进行随机角度的旋转，增加模型对不同拍摄角度的适应性。
随机裁剪：在图像中随机裁剪出一定大小的区域，使模型能够关注图像的不同部分，提高其对局部特征的学习能力。
随机水平翻转：以一定的概率对图像进行水平翻转，增强模型对左右镜像图像的识别能力。
随机调整亮度、对比度和饱和度：模拟不同的光照条件和图像传感器特性，提高模型对图像颜色和亮度变化的鲁棒性。

通过这些数据增强操作，可以有效地扩充训练数据集的规模和多样性，使模型在面对各种实际场景下的动物图像时具有更好的适应性和泛化性能。

2.6 归一化处理

对图像数据进行了归一化处理，使用预训练模型要求的均值和标准差进行归一化。具体的归一化公式为：

$\text{Normalize}(x) = \frac{x - \text{mean}}{\text{std}}$
其中，mean 和 std 分别为预训练模型在大规模图像数据集（如 ImageNet）上计算得到的均值和标准差，具体数值为 mean = [0.485, 0.456, 0.406]，std = [0.229, 0.224, 0.225]。归一化处理的目的是将图像数据的分布调整到与预训练模型训练时所使用的数据分布一致，从而提高模型的性能和稳定性。

2.7 数据加载

使用 torchvision.datasets.ImageFolder 和 DataLoader 加载训练集和测试集数据。训练集和测试集分别存储在 “data/raw_img_all/train” 和 “data/raw_img_all/test” 目录下。在加载数据时，对训练集数据进行了数据增强和归一化处理，并设置了批量大小为 32，训练集加载时开启 shuffle 打乱数据顺序，测试集加载时不打乱数据顺序，同时使用多进程（num_workers=4）加速数据加载。

3、项目方法

3.1 网络架构

3.1.1 预训练模型引入

本项目选用 torchvision 库中的 resnet18 模型作为基础模型，并加载其默认的预训练权重（ResNet18_Weights.DEFAULT）。ResNet-18 是一种经典的卷积神经网络架构，其核心特点在于引入了残差连接，有效解决了深层网络训练时的梯度消失问题，使得网络能够更深入地学习图像特征。通过使用在大规模图像数据集（如 ImageNet）上预训练得到的 ResNet-18 模型，我们能够充分利用其已学习到的通用特征表示，为后续的动物种类识别任务提供强大的特征提取能力。

3.1.2 参数冻结

在构建项目模型时，为了保留 ResNet-18 在预训练过程中学习到的通用特征，我们对模型的所有参数进行了冻结处理。具体操作是将每个参数的 requires_grad 属性设置为 False，这样在后续的训练过程中，这些参数将不会被更新。通过冻结参数，我们不仅减少了训练过程中的计算资源和时间开销，还避免了因参数更新而导致的预训练特征破坏，确保了模型能够稳定地利用已有的特征提取能力。

3.1.3 自定义分类层

由于项目的目标是进行 10 种动物的分类，而预训练的 ResNet-18 模型的输出层是为 ImageNet 数据集的 1000 个类别设计的，因此我们需要对模型的最后一层全连接层进行改造，以适应动物种类识别任务。自定义分类层的结构如下：

第一个线性层（nn.Linear）将输入特征维度从 ResNet-18 最后一层的输出维度（512）映射到 512 维。
后接 ReLU 激活函数（nn.ReLU），引入非线性，使模型能够学习到更复杂的特征关系。
Dropout 层（nn.Dropout(0.5)）用于随机丢弃部分神经元的输出，防止过拟合，提高模型的泛化能力。
第二个线性层将 512 维特征进一步映射到 256 维。
引入自定义的 SelfAttention 层，增强模型对特征的关注能力。
最后一个线性层将 256 维特征映射到 10 维，对应 10 种动物类别，输出每个类别的预测分数。

自定义分类层的代码实现如下：

class SelfAttention(nn.Module):def __init__(self, in_dim):super(SelfAttention, self).__init__()self.query = nn.Linear(in_dim, in_dim)self.key = nn.Linear(in_dim, in_dim)self.value = nn.Linear(in_dim, in_dim)self.softmax = nn.Softmax(dim=1)self.gamma = nn.Parameter(torch.zeros(1))  # 可学习的注意力权重系数def forward(self, x):batch_size, features = x.size()Q = self.query(x)K = self.key(x)V = self.value(x)attention = torch.bmm(Q.unsqueeze(1), K.unsqueeze(2))attention = self.softmax(attention.view(batch_size, 1))out = V * attention * self.gammareturn x + out  # 残差连接class PretrainedResNet18(nn.Module):def __init__(self):super().__init__()weights = ResNet18_Weights.DEFAULTself.model = resnet18(weights=weights)for param in self.model.parameters():param.requires_grad = Falsein_features = self.model.fc.in_featuresself.model.fc = nn.Sequential(nn.Linear(in_features, 512),nn.ReLU(),nn.Dropout(0.5),SelfAttention(512),  # 引入自注意力机制nn.Linear(512, 256),nn.ReLU(),nn.Dropout(0.3),nn.Linear(256, 10))def forward(self, x):return self.model(x)

通过以上修改，我们成功地将预训练的 ResNet-18 模型适配到了动物种类识别任务上，充分利用了迁移学习的优势，以较少的训练数据和计算资源实现了高效的模型训练。

3.2 模型训练

3.2.1 数据加载与划分

在项目中，我们使用 torchvision.datasets.ImageFolder 和 DataLoader 来加载训练集和测试集数据。训练集和测试集分别存储在 “data/raw_img_all/train” 和 “data/raw_img_all/test” 目录下。具体的数据加载代码如下：

transform = torchvision.transforms.Compose([torchvision.transforms.Resize((224, 224)),torchvision.transforms.ToTensor(),torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])train_dir = os.path.join(dir, "data/raw_img_all/train")
val_dir = os.path.join(dir, "data/raw_img_all/test")train_dataset = datasets.ImageFolder(root=train_dir, transform=transform)
eval_dataset = datasets.ImageFolder(root=val_dir, transform=transform)train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True, num_workers=4)
eval_loader = DataLoader(dataset=eval_dataset, batch_size=64, shuffle=False, num_workers=4)

3.2.2 训练配置

我们选择了 Adam 优化器进行模型训练，Adam 优化器以其适应性学习率和低内存需求而闻名，非常适合处理大规模数据集和复杂模型。学习率设置为 0.0001，权重衰减系数设置为 0.00001，以防止过拟合。损失函数采用交叉熵损失函数（nn.CrossEntropyLoss），它能够有效地衡量模型输出与真实标签之间的差异。训练配置代码如下：

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.0001, weight_decay=0.00001)

3.2.3 训练过程

模型训练过程如下：

模型初始化：创建 PretrainedResNet18 模型实例，并将其移动到 GPU 上（如果可用）。
训练循环：设定训练轮数为 25，开始训练循环。在每个训练 epoch 中：
- 将模型设置为训练模式。
- 对训练集数据进行批量处理，每个批次的大小为 64。
- 对于每个批次的数据：
  - 将数据和标签移动到 GPU 上。
  - 通过模型进行前向传播，得到输出。
  - 计算损失值。
  - 清空梯度，反向传播计算梯度，并更新模型参数。
  - 累计损失值和正确分类的样本数。
性能评估：在每个 epoch 结束时，计算平均损失和训练准确率，并记录训练时间。
模型保存：训练完成后，将模型的状态字典保存到本地文件 “cifar10_model_res_homo1.pth” 中。

训练过程代码如下：

def train(epochs=25):model = PretrainedResNet18().to(device)criterion = nn.CrossEntropyLoss()optimizer = torch.optim.Adam(model.parameters(), lr=0.0001, weight_decay=0.00001)print("Start Training")model.train()start_time = time.time()for epoch in range(epochs):epoch_loss = 0.0correct = 0epoch_start_time = time.time()# 训练步骤model.train()  # 确保模型处于训练模式for batch_idx, (data, target) in enumerate(train_loader):data, target = data.to(device), target.to(device)output = model(data)loss = criterion(output, target)optimizer.zero_grad()loss.backward()optimizer.step()epoch_loss += loss.item() * data.size(0)_, predicted = torch.max(output.data, 1)correct += predicted.eq(target).sum().item()# 计算训练集的平均损失和准确率avg_loss = epoch_loss / len(train_loader.dataset)train_acc = correct / len(train_loader.dataset)epoch_time = time.time() - epoch_start_time# 打印训练信息print(f'Epoch {epoch + 1:03d} | 'f'Train Loss: {avg_loss:.4f} | 'f'Train Acc: {train_acc:.4f} | 'f'Time: {epoch_time:.2f}s')print(f'Total Training Time: {time.time() - start_time:.2f}s')torch.save(model.state_dict(), 'cifar10_model_res_homo1.pth')

3.3 模型测试

3.3.1 模型加载与评估模式

在测试阶段，我们重新创建预训练的 ResNet-18 模型，并加载之前训练保存的模型参数。将模型设置为评估模式，此时模型会关闭 Dropout 等训练时特有的操作，以保证测试结果的准确性和稳定性。模型加载代码如下：

def test():model = PretrainedResNet18().to(device)model.load_state_dict(torch.load('cifar10_model_res_homo1.pth'))model.eval()

3.3.2 测试数据处理

对测试集数据进行与训练阶段相同的预处理操作，包括调整图像大小、归一化等，并使用 DataLoader 加载测试集数据，批量大小为 64，不打乱数据顺序。测试数据加载代码如下：

eval_dataset = datasets.ImageFolder(root=val_dir, transform=transform)
eval_loader = DataLoader(dataset=eval_dataset, batch_size=64, shuffle=False, num_workers=4)

3.3.3 测试过程

在测试过程中，对测试集中的每个批次数据进行前向传播，计算每个样本的预测类别，并统计正确分类的样本数量。最终计算测试集的整体准确率，作为模型性能的评估指标。测试过程代码如下：

def test(save_results=True, output_classification_report=True):model = PretrainedResNet18().to(device)model.load_state_dict(torch.load('cifar10_model_res_homo1.pth'))model.eval()correct = 0all_targets = []all_predictions = []with torch.no_grad():for data, target in eval_loader:data, target = data.to(device), target.to(device)output = model(data)_, predicted = torch.max(output.data, 1)correct += predicted.eq(target).sum().item()# 收集所有预测结果和真实标签all_targets.extend(target.cpu().numpy())all_predictions.extend(predicted.cpu().numpy())test_acc = correct / len(eval_loader.dataset)print(f'Test Accuracy: {test_acc:.4f}')# 将测试结果保存为 CSV 文件if save_results:test_results = pd.DataFrame({'target': all_targets,'predicted': all_predictions})test_results.to_csv('test_results.csv', index=False)print("Test results saved to test_results.csv")# 输出分类报告if output_classification_report:report = classification_report(all_targets, all_predictions, target_names=eval_dataset.classes)print("Classification Report:")print(report)

4、实验结果与分析

4.1 评估指标

在本项目中，我们采用准确率（Accuracy）、召回率（Recall）和 F1 分数（F1 Score）作为评估模型性能的指标。这些指标能够从不同角度全面反映模型在动物种类识别任务中的表现。

准确率（Accuracy）：衡量模型正确分类的样本数占总样本数的比例，计算公式为：

$\text{Accuracy} = \frac{\text{正确分类的样本数}}{\text{总样本数}}$
召回率（Recall）：衡量模型正确识别出的正类样本数占实际正类样本数的比例，计算公式为：

$\text{Recall} = \frac{\text{正确识别的正类样本数}}{\text{实际正类样本数}}$
F1 分数（F1 Score）：准确率和召回率的调和平均数，综合考虑了模型的准确性和召回能力，计算公式为：

$\text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$

其中，精确率（Precision）是指模型识别出的正类样本中实际为正类的比例，计算公式为：

$\text{Precision} = \frac{\text{模型识别出的正类样本数}}{\text{正确识别的正类样本数}}$

4.2 结果展示

经过 25 个 epoch 的训练，模型在训练集上的平均损失逐渐降低，准确率逐渐提高，最终在训练集上达到了约 0.9093 的准确率。在测试集上，模型的准确率为 0.9293，表明模型具有良好的泛化能力。

训练过程中的损失和准确率变化如下表所示：

Epoch	Train Loss	Train Acc
1	0.9325	0.7147
2	0.4612	0.8481
3	0.4123	0.8657
…	…	…
25	0.2745	0.9073

可视化训练过程

在这里插入图片描述

分类报告

模型在测试集上的分类报告如下：

Classification Report:precision    recall  f1-score   supportcane       0.92      0.93      0.92      2373cavallo       0.87      0.93      0.90      1267elefante       0.97      0.92      0.94       706farfalla       0.96      0.96      0.96      1020gallina       0.97      0.93      0.95      1499gatto       0.94      0.91      0.92       806mucca       0.89      0.83      0.86       891pecora       0.85      0.89      0.87       903ragno       0.96      0.98      0.97      2373scoiattolo       0.93      0.93      0.93       900accuracy                           0.93     12738macro avg       0.93      0.92      0.92     12738
weighted avg       0.93      0.93      0.93     12738

混淆矩阵

在这里插入图片描述

4.3 结果分析

4.3.1 性能表现

训练集：模型在训练集上达到了约 0.9093 的准确率，表明模型能够很好地拟合训练数据，并且在识别训练集中的动物种类时具有很高的准确性。
测试集：模型在测试集上的准确率为 0.9293，表明模型在未见数据上也表现出良好的泛化能力。

4.3.2 指标平衡

从分类报告中可以看出，模型的准确率和召回率较为接近，表明模型在减少误报（False Positives）和漏报（False Negatives）方面取得了较好的平衡。F1 分数作为两者的调和平均数，也反映出模型整体性能的稳定性。

4.3.3 类别差异

模型在不同类别上的表现存在一定差异：

高准确率类别：如“ragno”（蜘蛛）和“farfalla”（蝴蝶），这些类别的精确率和召回率都较高，可能是因为这些类别的图像特征较为明显，或者数据集中这些类别的样本数量较多。
较低准确率类别：如“mucca”（牛）和“gatto”（猫），这些类别的精确率或召回率相对较低，可能是因为这些类别的动物在外观特征上存在较大差异或相似性，导致模型在区分时存在一定困难。

4.3.4 性能分析

数据增强与迁移学习的优势：数据增强技术有效地扩充了训练数据集的规模和多样性，提高了模型的泛化能力。迁移学习利用预训练的 ResNet-18 模型，充分发挥了其通用特征提取能力，使得模型在有限的训练数据下仍能取得较好的性能。
模型的局限性：尽管模型整体表现良好，但在某些类别上的识别准确率仍有提升空间。这可能是因为这些类别的动物在外观特征上存在较大差异或相似性，导致模型在区分时存在一定困难。此外，测试集中的图像可能包含更多的噪声或复杂背景，影响了模型的识别效果。

4.4 改进方向

基于实验结果的分析，未来可以尝试以下改进方向：

进一步优化模型结构：可以尝试调整自定义分类层的结构，或者引入其他先进的注意力机制（如多头自注意力机制）来提升模型对特征的关注能力。
调整超参数：可以尝试调整学习率、权重衰减系数、Dropout 概率等超参数，以进一步提升模型的训练效果和泛化能力。
增加数据集规模和多样性：可以尝试收集更多种类的动物图像，或者通过更复杂的数据增强技术来扩充数据集的规模和多样性，从而提升模型的鲁棒性和泛化能力。
类别不平衡处理：可以通过过采样或欠采样等方法来平衡不同类别之间的样本数量，以减少类别不平衡对模型性能的影响。

5、项目应用展望

基于迁移学习和卷积神经网络的动物种类识别系统在多个领域具有广泛的应用前景。以下是一些具体的应用场景和潜在价值：

5.1 生物多样性研究

在生物多样性研究中，准确识别动物种类是了解生态系统健康状况和物种分布的关键。该系统可以用于野外调查，帮助研究人员快速分类和记录不同动物物种。通过分析大量图像数据，研究人员可以更好地了解物种的分布范围、种群数量和生态习性，为制定科学合理的生态保护措施提供依据。

5.2 野生动物保护

野生动物保护工作需要及时监测濒危物种的数量变化和栖息地状况。该系统可以部署在自然保护区或野生动物栖息地，通过实时图像监测和识别，帮助保护人员及时发现濒危物种的活动情况，提高保护工作的效率和针对性。此外，该系统还可以用于打击非法野生动物交易，通过快速识别查获动物的种类，为执法工作提供技术支持。

5.3 动物园和宠物行业

在动物园和宠物行业，该系统可以用于动物种类鉴定和信息管理。动物园可以利用该系统为游客提供更准确的动物种类信息，增强参观体验。宠物店和宠物医院可以利用该系统快速识别宠物种类，提供更精准的服务和护理建议。

5.4 教育和科普

该系统还可以用于教育和科普活动，帮助学生和公众更好地了解不同动物物种的特征和习性。通过互动式的图像识别体验，提高公众对生物多样性保护的意识和参与度。

5.5 未来工作方向

尽管本项目已经取得了较好的识别效果，但仍有改进和优化的空间。未来的工作可以包括以下方向：

进一步优化模型结构和超参数：可以尝试调整自定义分类层的结构，或者引入其他先进的注意力机制（如多头自注意力机制）来提升模型对特征的关注能力。
扩大训练数据集：增加更多种类的动物图像，提高系统的适用性和多样性。
探索与其他技术的结合：例如，结合自然语言处理技术，实现动物特征的自动描述；或者结合物联网技术，实现野外实时监测和识别。
开发移动应用：将动物种类识别系统应用于移动设备，方便公众在野外或日常生活中使用。

6、项目总结

6.1 问题及解决办法

在项目开发过程中，我们遇到了一些问题，并通过以下方法解决了这些问题：

问题描述	解决方案
模型过拟合	增加 Dropout 层、使用 L2 正则化和数据增强技术
训练速度慢	利用 GPU 加速训练，并优化数据加载流程
类别不平衡	通过分析类别分布，调整数据增强策略以平衡各类别的样本数量
某些类别识别准确率低	针对低准确率类别进行专项分析，增加这些类别的数据增强力度，并调整模型的损失函数权重