水稻作为全球重要的粮食作物之一，其产量和品质对食品安全和农业经济具有重大影响。然而，水稻生长过程中常遭受多种虫害的威胁，这些虫害能够导致严重的产量损失和品质下降。传统的虫害管理方法依赖于化学农药，但长期使用不仅对环境造成污染，还可能导致害虫抗药性的增强。近年来，卷积神经网络(Convolutional Neural Network, CNN)在图像识别领域取得了显著的进展，尤其是在农业病虫害识别方面表现出色。CNN最初由Krizhevsky等人 [1] 提出，并通过其开发的AlexNet模型在ImageNet竞赛中取得了重大成就。此后，CNN技术已广泛应用于各种计算机视觉任务，如目标检测、图像分割和视频分类，为自动化农业监控技术提供了坚实的技术基础。You [2] 就提出了一种基于模糊集定性比较分析方法的农业害虫识别系统。该系统使用机器视觉算法结合模糊识别理论，与传统机器视觉方法相比，在害虫识别方面具有明显优势，能够更准确地识别农业害虫。Nanni等人 [3] 就提出了一种基于融合显著性方法和卷积神经网络(CNN)的自动分类器来进行害虫识别与分类，通过使用显著性方法，文章中创建了新的标记样本，通过丢弃低重要性的像素来增强图像数据，并用这些新样本训练多个网络以构建集成模型，在小型数据集上达到了92.43%的准确率，在IP102数据集上达到了61.93%的准确率。Khalifa等人 [4] 提出了一个基于迁移学习的诊断系统，用于害虫的检测和识别，通过测试十种害虫，取得了93.84%的准确率。

在水稻病虫害识别领域，CNN等深度学习模型已逐渐取代传统的人工检测方法。例如，Li等人 [5] 开发的卷积重平衡网络在处理大规模不平衡的水稻病虫害图像分类中有较高的准确率。Kundur等人 [6] 开发的基于深度学习的自动检测系统PENYEK在稻飞虱识别中也实现了较高的准确率，显示出深度学习在此领域的巨大潜力。随着研究的深入更为复杂的CNN结构，如ResNet、Inception和EfficientNet，已被引入到水稻病虫害识别任务中 [7] 。这些高级模型通过引入深层网络结构、跳跃连接和多尺度特征提取技术，显著提升了识别的准确性和泛化能力。例如，Zhang等人 [8] 提出了一种基于级联注意的时空卷积神经网络用于运动姿态识别，有效提高了昆虫的识别效果和鲁棒性。该模型通过减少计算复杂度，在低计算资源环境下表现优异。Bi等人 [9] 提出了一种基于双分支卷积神经网络(DBDCNN)的模型，通过引入卷积块注意力模块(CBAM)，大幅提升了水稻叶片病害的识别精度。此外，研究人员还尝试结合迁移学习和数据增强技术来进一步提高模型的泛化能力和识别精度。例如，Rahman等 [10] 提出了一种两级小型 CNN架构并进行微调以检测和识别水稻病虫害，效果达到93.3%的预期准确率。实验结果表明了这些模型在实际数据集上的有效性，取得了显著的性能提升。同样，Teng等人 [11] 采用YOLOv7模型作为对象检测模型来提高害虫识别性能和整体数据质量。

最新研究表明，随着深度学习技术的发展，农业病虫害自动化识别的精度和效率大幅提升。然而，当前的病虫害识别仍然面临挑战，尤其是在病虫害图像数据采集和标注成本较高的情况下，模型的泛化能力受到限制 [12] 。此外，现有的识别模型在计算资源和时间上的需求较高，难以在资源有限的环境中广泛应用 [13] 。因此，开发一种高效、低成本且具有良好泛化能力的病虫害自动识别方法成为当前研究重点。

基于上述背景，本研究旨在提出一种基于卷积神经网络的水稻虫害图像识别方法。具体目标包括：

1) 通过使用ResNet网络结构、数据增强技术和优化算法，提升识别精度和鲁棒性；

2) 针对稻田虫害图像数据集中样本不平衡的问题，提出并应用数据增强和类别权重调整等优化策略；

3) 通过实验比较不同数据集(训练集、验证集和测试集)在多种类别下的样本分布，深入分析样本对模型训练和分类性能的影响；

4) 利用集成模型的方法，结合多个模型的优势提升稻田虫害识别的整体性能，分析流程如 图1 所示。

本研究所使用的水稻虫害图像数据集在不同时间段和多种环境条件下采集，所有图像均在实际稻田环境中拍摄，以确保数据的真实性与代表性。在数据采集过程中，共收集了5043张训练集样本、843张验证集样本和2531张测试集样本。数据集中涵盖了14种常见的水稻虫害类型，包括亚洲稻螟(Asiatic Rice Borer)、褐飞虱(Brown Plant Hopper)、稻螟虫(Grain Spreader Thrips)、稻秆蝇(Paddy Stem Maggot)、稻瘿蚊(Rice Gall Midge)、稻叶毛虫(Rice Leaf Caterpillar)、稻叶卷叶虫(Rice Leaf Roller)、稻叶蝉(Rice Leafhopper)、稻螟壳害虫(Rice Shell Pest)、稻茎蝇(Rice Stemfly)、稻水象甲(Rice Water Weevil)、小褐飞虱(Small Brown Plant Hopper)、白背飞虱(White Backed Plant Hopper)以及黄稻螟(Yellow Rice Borer)等。该数据集不仅具有种类多样的病虫害图像，还能够很好地模拟稻田环境中的实际干扰因素，为病虫害识别模型的开发与评估提供了坚实的基础。

在训练集中，各类病虫害图像的分布情况较为多样化。例如，Asiatic Rice Borer的图像数量为631张，Brown Plant Hopper为500张，Grain Spreader Thrips为103张，Paddy Stem Maggot为156张。验证集中，Asiatic Rice Borer的图像数量为106张，Brown Plant Hopper为83张。测试集中，Asiatic Rice Borer的图像数量为316张，Brown Plant Hopper为251张。 图2 详细展示了各类病虫害在不同数据集中的图像数量分布情况。这种多样化的分布不仅能确保模型在训练阶段覆盖广泛的病虫害类别，还为模型在验证和测试阶段的性能评估提供了充分的样本支持。

为了进一步增强数据集的多样性和代表性，本研究引入了多种数据增强技术。具体而言，应用了旋转、翻转、缩放、平移、剪切以及亮度调整等增强手段，模拟了不同的拍摄角度和光照条件，如 图3 所示。该数据增强方法不仅有效扩展了原始图像数据的数量，还通过模拟实际稻田中的复杂环境，提高了模型的泛化能力。通过这些增强操作，模型在面对不同场景下的病虫害图像时，能够表现出更好的鲁棒性和准确性，从而在实际应用中获得更高的识别精度和稳定性。

在本研究中，使用了ImageDataGenerator工具对数据集进行归一化处理。所有图像先被调整299 × 299像素，并转换为float32数据类型。每个像素值由0到255的范围缩放至0到1，以适应计算机处理的最佳数值范围。这种归一化操作有效减少了数据处理的复杂性，避免了因图像数据尺度差异导致的训练不稳定问题 [14] 。为确保数据的随机性并消除因样本顺序可能引起的偏差，数据集经过了全面的随机化处理。图像数据增强方面，采用了多种增强技术，包括随机旋转、平移、剪切变换、缩放以及水平和垂直翻转等。这些技术显著增加了数据的多样性，增强了模型的泛化能力，降低了过拟合的风险 [15] 。为了进一步提升模型的学习能力，采用了动态学习率调整策略。此策略依据验证集的表现动态调整学习率，从而在不同的训练阶段确保最佳的学习效率 [16] 。通过这些方法，模型能够更有效地捕捉数据中的特征，提高了识别的准确性与鲁棒性。除此之外，本研究还采用了两阶段的迁移学习策略。模型在大规模的ImageNet数据集上预训练，并保存其权重参数。接紧着将这些预训练的参数迁移至稻田害虫数据集上，进一步微调。该方法充分利用了大规模数据集的知识，提升了模型在特定任务上的表现。

本研究设计并实施了一个基于卷积神经网络(CNN)的图像识别模型，专门针对水稻虫害图像的自动识别。整个模型训练流程包括数据预处理、模型架构设计、训练执行及其优化，确保了模型的高效性和精确度。选用了TensorFlow和Keras框架进行模型搭建和训练工作。

该模型结构包含四个卷积层，每层使用的卷积核数量依次为32、64和128，核大小统一为3 × 3。每个卷积层后接一个最大池化层，用以减少特征维度并突出图像的关键局部特征。模型的深层特征通过一个包含512个神经元的全连接层来学习，该层采用ReLU激活函数以增强非线性处理能力。此外，为了降低过拟合风险，全连接层后设置了一个Dropout层，丢弃率为0.5。输出层采用softmax激活函数，使得模型能够将输出有效地分类至14个关于稻田虫害的类别中。

本研究采用三种不同训练策略的卷积神经网络模型，旨在评估该策略对模型性能的具体影响。模型1采用了标准的CNN架构，所有层级的参数均参与到训练中。该模型的权重通过随机初始化生成，并结合数据增强技术来扩展训练数据集，设定了100个训练周期，初始学习率设为0.0001，并通过Adam优化器进行优化。模型2在模型1的基础上，加入了学习率调度策略(ReduceLROnPlateau)，此策略在验证损失停止下降时自动减少学习率，有助于避免训练后期的过拟合，同时提高学习效率。模型3与模型1具有相同的基础结构，但采用了“低层冻结，高层微调”的策略，通过冻结低层卷积层的参数，并仅对高层卷积层进行训练。这种策略使得模型能够在保留预训练网络的低层特征表示的同时，对新数据在高层进行更精细的学习，这不仅简化了训练过程，也显著提升了模型对小样本类别的泛化能力。

在数据预处理阶段，采用了ImageDataGenerator工具进行图像的归一化处理，将所有图像调整到统一的299 × 299像素尺寸，并将像素值归一化到0到1范围内，这有助于保持数据的一致性并加速模型训练。同时，实施了包括旋转、平移、缩放、剪切和翻转在内的数据增强措施，以增强模型对不同环境条件的适应能力。数据集涵盖了14种水稻虫害类型，采用8:1:1比例分为训练集、验证集和测试集，确保了数据在不同训练阶段的独立性。使用Adam优化器进行模型训练，初始学习率设为0.0001，并结合早期停止策略和学习率调度策略来防止过拟合并提高模型收敛速度。鉴于稻田环境中虫害图像常受到光照变化和拍摄角度的影响，未经数据增强的模型(URE)通常难以适应多变场景。因此，引入了经数据增强处理的模型(RE)，这种方法通过扩展数据多样性，显著增强了模型的鲁棒性。RE模型在面对环境变化时，相较于URE模型，展现了更高的准确率和更快的收敛速度。

为了全面评估构建的CNN模型在水稻虫害识别的性能，采用了一系列精细的评估指标，包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)及F1分数(F1-Score)。该指标共同为模型的分类精度提供了多维度的评价。具体而言，准确率衡量模型预测正确的样本所占的总样本比例，为整体性能提供基础指示；精确率则专注于模型在预测为正类的样本中准确识别的比例，是衡量模型预测准确性的关键指标；召回率评估模型对实际正类样本的识别能力，反映了模型的覆盖范围；F1分数作为精确率和召回率的调和平均值，用以综合评价模型在正类预测上的平衡性能。该指标的综合运用，不仅增强了评估的全面性，也确保了对模型性能的深入理解。具体计算公式如下：

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$ (1)

其中，TP (True Positive)表示真实为正且被正确预测为正的样本数，TN (True Negative)表示真实为负且被正确预测为负的样本数，FP (False Positive)为被错误预测为正的负样本数，FN (False Negative)为被错误预测为负的正样本数。

精确率反映了模型在正类预测上的准确性，尤其适用于错误分类带来高成本的任务。精确率用于衡量模型在所有被预测为正类的样本中，实际为正类的比例，计算公式如下：

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}$ (2)

召回率评估了模型对正类样本的覆盖能力，尤其在病虫害识别等高敏感性任务中显得尤为重要。召回率衡量在所有实际为正类的样本中，模型正确识别出的比例，计算公式如下：

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (3)

F1分数在精确率和召回率之间存在权衡时，提供了更为客观的评价，尤其在两者存在较大差异时。F1分数是精确率和召回率的调和平均数，综合考虑了模型的准确性和覆盖能力，计算公式如下：

$\text{F1-score}=2\times \frac{\text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$ (4)

模型训练完成后，在测试集上进行了全面评估。测试集包含2531张图像，覆盖了14种不同类型的水稻虫害。在评估过程中，生成了混淆矩阵和分类报告。混淆矩阵展示了模型在每一类虫害上的分类表现，而分类报告则详细提供了各类的精确率、召回率和F1分数。

以上评估指标为模型性能提供了全面的评价，确保其在实际应用中能够提供高效且准确的识别结果。通过对这些指标的优化与监控，最终模型在水稻虫害识别任务中展现了强大的鲁棒性与泛化能力，为农业病虫害监测提供了重要的技术支持。

本研究提出了一种基于卷积神经网络(CNN)的水稻虫害图像识别方法，特别针对不平衡数据集进行了优化。通过实验验证了该方法在处理14类水稻虫害图像时的有效性。为了克服样本不平衡问题，本研究采用了数据增强技术和类别权重调整策略，有效提高了模型在各类别下的分类性能。具体来说，优化后的CNN模型在测试集上展示了出色的性能，整体准确率达到98.23%，其中在“Rice Leaf Roller”和“Asiatic Rice Borer”类别上的准确率分别为96.5%和95.6%。对于样本量较少的“Grain Spreader Thrips”类别，模型同样实现了显著的准确率提升。此外，模型在测试集上的平均精确率为96.48%，召回率为98.41%，以及F1分数为97.26%，结果展示了模型在多类别虫害识别任务中的高精度和稳定性。除此之外，通过深入优化CNN结构和细化数据处理策略，不仅显著提高了水稻虫害图像识别的准确性和效率，还为农业领域中的智能病虫害识别提供了有效的技术方案。

但是随着时间的推移，害虫的种类和形态可能会发生变化，由于数据集的欠缺可能无法适应多种形态的害虫识别，所以模型需要更多的数据集进行学习以确保更好的泛化能力。在未来的研究中，我们应该考虑模型在不同地理、气候和环境条件下的适应性，以提高模型在多样化实际农田中的应用范围并对模型进行长期的性能跟踪，评估其在不同生长季节和害虫变异情况下的稳定性和准确性。扩展模型的应用范围，使其能够识别和分类多种作物的病虫害，增加模型的通用性。

四川省科技厅项目资助(2022JDR0043)；四川省数值模拟重点仿真实验室项目(KLNS-2023SZFZ002)；成都信息工程大学青年创新项目(KYQN202324)。