实例分割按照算法实现框架可分为：两阶段实例分割算法和单阶段实例分割算法 [18] 。何凯明等人设计提出的Mask-RCNN的两阶段方法遵循先检测后分割的理念，它基于Faster-RCNN [19] 另加入了一个分支网络，以输出目标对象的掩码，目的是在进行目标检测的同时，分割实例对象，比起类别标签或者检测框，掩码更加细粒度地提取实例对象的空间信息 [20] 。

YOLACT是首个达成实例分割的单阶段模型，它将实例分割划分为预测原型掩膜和掩膜系数这两个并行的子任务，提升了模型推理效率。后续WANG等提出的SOLO按中心位置和对象尺寸来区分并分割不同实例。SOLOv2 [21] 在SOLO的基础上引入动态掩膜头和非极大抑制，减少了运算量，分割速度进一步提高。Poly-YOLO [22] 采用类似极坐标变换的方式，获得不是mask的掩码输出来进行分割，不占用太大显存，让整个网络更快、更轻量。YOLOv5后的YOLO系列算法的分割思想均参照自YOLACT，其中YOLOv5s在工程中应用最广。以上实例分割方法的实时性符合需求，但在不同特征对目标的敏感性存在不足，导致分割精度方面仍存在局限 [23] 。

YOLOv5属于单阶段网络，有四种型号：YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，主要取决于模型的深度、宽度 [24] ，其中YOLOv5s模型的参数量最小，检测速度最快，可以最大程度地满足各种边缘设备的部署条件，综合考虑各模型的检测速度、模型大小及检测精度，本文选择YOLOv5s的7.0版本，其网络模型包括输入端(Input)、骨干网络(Backbone)、颈部网络(Neck)和输出端(Head)四部分。

YOLOv5s模型的输入端将输入图像调整为统一的640 * 640像素的网络输入，在训练过程中，YOLOv5s使用Mosaic数据增强 [25] 、自适应锚框计算和自适应图片缩放操作。骨干网络由CBS模块、C3模块和SPPF (Spatial Pyramid Pooling Fast)模块组成。其中CBS模块结构如 图1 所示，是骨干网络的基础性模块，包括对输入的特征图进行卷积、批标准化和SiLU激活函数操作；C3模块结构如 图2 所示，由3个CBS模块和1个BottleNeck_N层组成，主要学习残差特征，其中CBS模块是卷积层，Bottle Neck_N层用于压缩并恢复通道数；SPPF模块结构如 图3 所示，通过池化层融合多尺度特征。

比起骨干网络，颈部网络的结构较为简单，主要包括C3模块、CBS模块、上采样(Upsample)模块和拼接层(Concat)，构成了FPN + PAN结构，其中FPN层从顶部向下传达强语义特征，而PAN层从底部向上传达定位特征，以改善经过多层网络后的底层信息丢失的问题 [26] 。输出端有3个分支，从Neck模块输出的20 * 20、40 * 40和80 * 80大小的特征图去预测实例对象的类别概率、置信度和预测框坐标。ShapeIOU_Loss被用于边界框的损失计算，同时使用非极大值抑制(NMS)找出最佳的目标检测框，消除冗余的边界框。

注意机制使模型能够集中于显著特征上，增强了特征提取的效益和卷积神经网络捕获详细特征信息的能力，但是它也有一定的局限性，目前的空间注意机制不能强调每个特征在接受域的重要性，不能完全解决大卷积核的参数共享问题。而接受场注意(RFA)，它全面地解决了卷积核的参数共享问题，并考虑了接受域中每个特征的重要性，有效地融合多尺度特征。同时，RFA设计的卷积运算(RFAConv)是一种开创性的方法，可以取代目前神经网络中的标准卷积运算。它提供了几乎可以忽略不计的计算成本和参数增量，同时显著提高了网络性能，本文使用RFAConv卷积替换Head模块中部分卷积。

RFAConv卷积的接收域空间特征可以根据核大小动态生成，以3 * 3卷积核为例，RFAConv整体结构如 图4 所示。其中“Spatial Feature”指的是原始的Feature map，“接受域空间特征”是空间特征变换后的特征图，由不重叠的滑动窗口组成。当使用3 * 3卷积内核提取特征时，接收域空间特征中的每个3 * 3大小窗口代表一个接收域滑块。通过RFA得到的feature map是接受域空间特征，在“Adjust Shape”后没有重叠，如 图5 所示。该方法不仅强调了接收域滑块内不同特征的重要性，而且对接收域空间特征进行了优先排序。因此，学习到的注意图将每个接受域滑块的特征信息聚合起来，即注意力地图不再共享在每个接受域滑块。

同时RFAConv利用相应大小的分组卷积来动态生成基于接受域大小的展开特征，以快速提取接受域特征，为了最小化与每个接收域特征交互时额外产生的计算开销和参数的数量，使用AvgPool来聚合每个接收域特征的全局信息。然后，使用1 × 1组卷积操作进行信息交互，最后使用softmax来强调每个特征在接受域特征中的重要性。RFA的计算可以表示为：

$F=\text{Softmax}\left\{g^{1\times 1}\left[\text{AvgPool}\left(X\right)\right]\right\}\times \text{ReLu}\left\{\text{Norm}\left[g^{k\times k}\left(X\right)\right]\right\}=A_{rf}\times F_{rf}$ (1)

式中： ${\text{g}}^{i\times i}$表示一个大小为 $i\times i$的分组卷积， $k$表示卷积核的大小，Softmax是归一化指数函数，AvgPool表示平均池化，ReLU是一种激活函数，Norm表示归一化， $X$表示输入特征图， $F$是通过将注意力图 $A_{rf}$与变换后的感受野空间特征 $F_{rf}$相乘得到的。

在目标检测和实例分割任务中，边界框损失函数是一种用来衡量模型预测的边界框与真实目标边界框之间差异的指标。其主要作用是帮助优化模型，使其能够准确地定位目标，并且提高目标检测的准确性。边界框损失函数会根据预测边界框和真实边界框之间的位置偏差，计算出一个损失值。模型在训练过程中，会通过最小化损失值来调整自身的参数，以使得预测的边界框更加接近真实的边界框 [27] 。

在YOLOv5原模型中使用CIoU作为边界框损失函数，CIoU具体公式如下：

$\text{CIoU}=\text{IoU}-\left[\frac{{\rho }^2\left(b,b^{gt}\right)}{c^2}+\alpha \upsilon \right]$ (2)

$\alpha =\frac{\upsilon }{\left(1-\text{IoU}\right)+\upsilon }$ (3)

$\upsilon =\frac{4}{{\pi }^2}{\left[\arctan \frac{{\omega }_{gt}}{h_{gt}}-\arctan \left(\frac{\omega }{h}\right)\right]}^2$ (4)

式中，IoU表示交并比，用于衡量预测框与真实框的重叠程度； $b$和 $b^{gt}$分别为锚框和GT框的中心点； $c$是包围预测框和真实框的最小外接框的对角线长度； $\alpha$是一个正的权衡参数，而 $\upsilon$用于衡量宽高比的一致性； ${\omega }^{gt}$和 $h^{gt}$分别表示GT框的宽度和高度， $\omega$和 $h$分别表示锚框的宽度和高度。

CIOU综合考虑了预测框与真实目标框之间的位置、大小和形状等因素，以衡量二者之间的相似度。这种方法不仅惩罚边界框坐标的偏差，还包括长宽比和中心点距离，从而提升了预测精度和收敛速度。然而，CIoU忽略了边框其自身的形状与尺度等固有属性对边框回归的影响。为弥补这方面的不足，本文使用ShapeIOU方法来替代CIOU作为边界框损失函数，ShapeIOU能够通过聚焦边框自身形状与自身尺度计算损失，从而使得边框回归更为精确，能够有效处理不平衡数据、细小目标和复杂边界的细节，提升分割精度且优于现有方法。如 图6 所示， $b$和 $b^{gt}$分别为锚框和GT框的中心点， $\left(x_c^{gt},y_c^{gt}\right)$、 $\left(x_c,y_c\right)$是其坐标， ${\omega }^{gt}$和 $h^{gt}$分别表示GT框的宽度和高度， $\omega$和 $h$分别表示锚框的宽度和高度。边界框的计算公式如下所示：

$\text{IoU}=\frac{\left|B\cap B^{gt}\right|}{\left|B\cup B^{gt}\right|}$ (5)

$ww=\frac{2\times {\left({\omega }^{gt}\right)}^{\text{scale}}}{{\left({\omega }^{gt}\right)}^{\text{scale}}+{\left(h^{gt}\right)}^{\text{scale}}}$ (6)

$hh=\frac{2\times {\left(h^{gt}\right)}^{\text{scale}}}{{\left({\omega }^{gt}\right)}^{\text{scale}}+{\left(h^{gt}\right)}^{\text{scale}}}$ (7)

${\text{distance}}^{\text{shape}}=hh\times \frac{{\left(x_c-x_c^{gt}\right)}^2}{c^2}+ww\times \frac{{\left(y_c-y_c^{gt}\right)}^2}{c^2}$ (8)

${\Omega }^{\text{shape}}={\displaystyle {\sum }_{t=w,h}{\left(1-e^{w_t}\right)}^{\theta }},\theta =4$ (9)

$\{\begin{array}{c}{\omega }_w=hh\times \frac{\left|w-w^{gt}\right|}{\max \left(w,w^{gt}\right)}\\ {\omega }_h=ww\times \frac{\left|h-h^{gt}\right|}{\max \left(h,h^{gt}\right)}\end{array}$ (10)

式中， $B$和 $B^{gt}$分别表示预测框和GT框；scale为尺度因子，与数据集中目标的尺度有关，ww与hh分别为水平方向与竖直方向的权重系数，其取值与GT框的形状有关； ${\text{distance}}^{\text{shape}}$表示形状点 $\left(x_c,y_c\right)$距离的平方， ${\Omega }^{\text{shape}}$是形状成本的定义，其对应的边框回归损失如下：

$L_{S\text{hape}-\text{IoU}}=1-\text{IoU}+{\text{distance}}^{\text{shape}}+0.5\ast {\Omega }^{\text{shape}}$ (11)

YOLOv5是YOLO系列网络中最具代表性的网络，本文使用YOLOv5系列中兼顾精度和速度的YOLOv5s-seg (7.0版本)进行改进。改进后的网络结构图如 图7 所示。

实验采用的深度学习框架为Pytorch 1.9，参数环境为CUDA 11.3，系统配置为CPU i7 12代3080ti显卡，编译语言为Python 3.9。训练轮次为200，训练批次大小为8，学习率设定为0.01，输入图片大小为640 * 640像素。

Cityscapes数据集是由德国三家单位联合创建的道路场景下进行目标分割任务的数据集，该数据集以大规模图像数据、精确标注标签、高分辨率等特点被研究者广泛应用。它由50个不同城市、不同季节的20,000张粗略标注图像和5000张精细标注的街道场景图像组成。本文考虑到道路场景下的实例分割任务要求较高的精度，选取了5000张标注精细的目标图像进行实验，其中训练数据2975张，验证数据500张，还有未标注的1525张测试数据 [28] 。

本文选取了实例分割方法常用的评估指标——精准率(Precision, P)、召回率(Recall, R)、平均精度均值(mean Average Precision, mAP) [29] 来评估模型的性能。其中精确率表示在所有被识别出的部位中，识别正确的部位所占的比例，体现了模型的分类准确性；召回率则是被正确识别的部位数量与测试集中所有部位数量的比值，反映了模型的目标检测全面性。平均精度值是通过预测掩码与实际目标部位的交并比(Intersection over Union, IoU)计算得到的，设置不同的IoU阈值会得到不同的mAP值，具体计算方法如下所示。当IoU阈值分别设为0.50、0.75和0.50~0.95时，对应的mAP分别表示为mAP@0.50、mAP@0.75和mAP@0.50:0.95。本文选择mAP@0.50来衡量模型对所有类别部位的分割精度。

$P=\frac{\text{TP}}{\text{TP}+\text{FP}}$ (12)

$R=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (13)

$\text{mAP}=\frac{1}{N}{\displaystyle {\sum }_{n=1}^N{\text{AP}}_n}$ (14)

式中：TP表示预测正确实际为正的样本，FP表示预测为正实际为负的样本，FN表示预测为负实际为正的样本，N为标签类别数量，AP (Average Precision)表示PR曲线下的面积。

为了验证各种改进策略对于模型精度提升的有效性，增强模型鲁棒性，以YOLOv5s为基准模型，采用消融实验来测试不同改进措施所取得的效果。结果如 表1 所示。

由 表1 可以看出，分别引入RFAConv卷积、ShapeIOU损失函数均对分割精度有提升效果。RFAConv 旨在增强感受野的自适应性，使网络能够更有效地捕捉不同尺度和形状的目标特征。在实验中，我们分别使用标准卷积和RFAConv卷积进行对比，发现采用RFAConv后，模型在小目标检测和边界细节刻画方面表现更优，mAP@0.50提升了0.13%。而ShapeIOU作为改进的IoU计算方法，引入了对小目标和复杂边界的细节处理，通过对比标准IoU和ShapeIOU在不同目标类别上的表现，可以看到mAP@0.50精度提升了0.11%。从消融实验结果来看，RFAConv主要提升了模型的特征表达能力，使得目标边界更加清晰，而ShapeIOU则优化了IoU计算，提高了分割结果的匹配度。二者相结合后，通过在Cityscapes数据集上进行验证，可以看到模型的精确度P提升了0.66%、召回率R提升了0.61%、mAP@0.50提升了1.2%，使得改进后的YOLOv5在道路场景实例分割任务中取得了更优的性能，证明了两者结合后对提高道路场景实例分割任务有更好的效果。

为进一步验证本文算法的优越性，设计对比试验，与YOLOv5s在相同数据集和实验环境下进行实验研究，以Mask-RCNN、YOLACT和SOLOv2这3种常见的实例分割算法作为对照组，其中ours表示本文提出的基于YOLOv5的改进模型。实验结果的评价指标对比如 表2 所示。Mask R-CNN作为基于区域的分割方法，在分割精度上表现较好(map@0.50 = 32.70%)，但由于采用RPN (Region Proposal Network)进行候选框生成，计算复杂度较高。YOLACT采用一阶段方法，速度较快，但map@0.50仅为21.54%，较难在小目标检测任务中保持高精度。SOLOv2作为基于像素的分割方法，具有较好的分割效果(map@0.50 = 30.60%)，但其采用密集预测结构，而本文的改进YOLOv5s算法取得了最高的map@0.50精度， 表2 数据表明，本文所提出的YOLOv5s算法map@0.50精度达到了33.82%，均优于3种对照算法，精度值达到了56.86%，召回率达到了30.98%，其精确率值虽然低于Mask R-CNN，但总体上看，还是有优势的，主要归因于：RFAConv考虑了接受域中每个特征的重要性，使网络能有效地融合多尺度特征，提升了IoU和边界分割精度；ShapeIOU通过优化边界框回归，可以有效处理细小目标和复杂边界的细节，尤其对复杂形态物体(如行人、骑行者)有明显改进。通过对比试验，可知本文算法具有良好的分割性能。

正文为了更直观地展示改进后的算法在Cityscapes数据集中的分割效果，体现指标优势，节选部分原图与分割效果图对比如 图8 所示。由 图8 可以看出，面对遮挡、形态接近、密集以及目标尺寸过小等道路场景下的诸多问题，本文改进后的算法均做出了准确识别，得到了较好的实例分割效果，验证了改进算法具有更高的检测精度。