随着计算机视觉的发展，目标检测技术的精度成为科研人员的重要研究内容之一。目标检测分为one-stage和two-stage两种检测方法，其中YOLO，SSD属于一阶段检测，R-CNN (Fast RCNN, Faster RCNN, Mask RCNN)属于两阶段检测。目标检测的精度依赖于特征提取的好坏，特征金字塔是用于检测不同尺度的对象的识别系统中的基本组件。Mask RCNN是基于分割掩码区域建议卷积神经网络的两阶段目标检测算法，精度相对较高，本文主要从它的特征金字塔网络出发，对近几年特征金字塔网络的改进算法进行研究。研究发现：基于原特征金字塔网络引入新的自底向上或自顶向下侧边连接的特征融合路径可以实现对底层信息的充分利用；通过双向、分层跳连等融合方法可以提高小目标检测的正确率。改进算法有效地提高了目标检测的精度。

目标检测，Mask RCNN，特征金字塔，特征融合

Gaijun Li¹, Jianfeng Han²

¹School of Science, Tianjin University of Commerce, Tianjin

²School of Information Engineering, Tianjin University of Commerce, Tianjin

Received: Sep. 20^th, 2022; accepted: Oct. 18^th, 2022; published: Oct. 27^th, 2022

With the development of computer vision, the accuracy of target detection technology has become one of the important research contents of researchers. Target detection is divided into one-stage and two-stage detection methods. Among them, YOLO and SSD belong to one-stage detection, and R-CNN (Fast RCNN, Faster RCNN, Mask RCNN) belongs to two-stage detection. The accuracy of object detection depends on the quality of feature extraction, and feature pyramid is a basic component in a recognition system for detecting objects of different scales. Mask RCNN is a two-stage target detection algorithm based on the segmentation mask area proposal convolutional neural network, with relatively high accuracy. This paper mainly starts from its feature pyramid network, and studies the improved algorithm of feature pyramid network in recent years. The research found that: based on the original feature pyramid network, the introduction of a new bottom-up or top-down side-connected feature fusion path can fully utilize the underlying information; the fusion methods such as bidirectional and hierarchical jump connections can improve accuracy rate of small target detection. The improved algorithm effectively improves the accuracy of target detection.

Keywords:Target Detection, Mask RCNN, Feature Pyramid, Feature Fusion

Copyright © 2022 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

计算机视觉的快速发展，行业对目标检测和分割的精度要求越来越高。R. Girshick等人 [ 1 ] 提出基于区域的卷积神经网络(R-CNN)，在目标检测中，将深度学习机制应用其中，利用深度卷积网络对目标建议进行分类，获得良好的目标检测精度，实现目标的自适应检测。工程上大部分应用速度快的一阶段的YOLO，SSD等算法，R-CNN系列作为两阶段检测，精度相对较高。但是对于R-CNN算法流程来说，训练是一个多阶段的流水线，训练过程复杂，消耗了时间和存储空间。R. Girshick [ 2 ] 提出了快速区域卷积神经网络(Fast R-CNN)方法，引入特征金字塔网络(FPN)融合多尺度特征映射图，优化特征提取过程。HE K M等人 [ 3 ] 针对图像重复区域，边缘粗糙的问题，增加了Mask部分，提出一种基于分割掩码区域卷积神经网络(Mask R-CNN)的算法，且改进了Faster R-CNN [ 4 ] 中RoI Pooling，取消取整操作，使用双线性插值来精确找到每一块对应的特征，有效提高了分割的精度。

图像金字塔(也称为特征化图像金字塔) [ 5 ] 是连续的像素阵列，它是用于图像增强和对象图案化的高效工具。在最初通过手工设计来提取特征的时代，占据重要地位。图像金字塔不是计算多尺度特征金字塔的唯一方法，图像金字塔由多个层级，如果去特征化它的每一个层级，会明显受到限制而且也大大增加了推理时间。单一特征图 [ 6 ] 是经过卷积神经网络得到的单一尺度特征映射图，作为预测阶段的唯一输入，大大缩短了检测时间。金字塔特征层次结构 [ 7 ] 是重复使用ConvNet计算的金字塔特征层次结构，类似于一个特征化的图像金字塔。特征金字塔网络是利用卷积网络特征层次结构的金字塔形状，通过生成一个能够在任意尺度上都有较强语义信息的特征金字塔，缩短了模型训练的时间，可以应用于以任何图像尺度计算的特征。

Tsung-Yi Lin等人 [ 8 ] 利用多尺度深度卷积网络的固有金字塔层次结构，以边际额外成本构建特征金字塔，开发了一种具有横向连接的自上而下架构，用于构建所有尺度的高级语义特征图，该架构成为特征金字塔网络(FPN)，如图1所示。输入图像经过卷积网络生成{C2, C3, C4, C5}特征映射图，特征图尺寸分别为原图像的(1/4, 1/8, 1/16, 1/32)，{P2, P3, P4, P5}为自上而下通过横向连接特征融合得到。该过程特征融合是简单的求和操作(红色虚线框内)。

图1. 特征金字塔网络(FPN)结构图

在计算机识别中，特征融合用于将多尺度特征图通过融合得到更多图像信息。输入图像在经过骨干网络生成不同尺度的特征映射图。对于底层特征图来说，它的分辨率高，包含丰富的细节信息，而高层特征由于经过了多次卷积得到的，语义信息鲜明，图像特征点更明显。为了提高检测和分割的精确度，人们将高层与底层特征通过融合的方式结合起来，利用丰富的图像信息，实现目的。值得说明的是，根据融合和预测顺序的先后，将融合类别分为早融合(Concat, Add)和晚融合(FPN，SSD，Densent等)。

特征金字塔网络在特征提取中具有重要作用，通过侧边横向连接融合多尺度特征映射图。本文基于实例分割Mask RCNN的改进算法对特征金字塔网络(FPN)的发展现状进行分析。增加FPN侧边连接网络结构的改进，是FPN改进的第一选择，通过增加特征提取网络的复杂度，从根本上提升了检测的精度。对于融合方式的改进来说，主要从结构层次去设计融合路径。设计背景大部分是在对遥感、工业缺陷等复杂图像的检测上。因为对这类图像来说，目标物分辨率低，图像内容丰富，依赖较精准的检测模型。融合和增加侧边横向连接等方式对特征金字塔网络的改进，使底层特征的细节信息与高层特征的语义信息充分结合，在小目标检测和分割的准确率方面有着很大的提升。在未来，通过改进FPN的方式来优化Mask RCNN算法依旧是主流技术，但是随着网络结构复杂程度的增加，产生大量的冗余信息，检测和分割的时间大，这也是继续研究和改善的关键。

李改俊,韩建枫. 改进特征金字塔网络的Mask RCNN研究综述A Survey of Mask RCNN Research with Improved Feature Pyramid Network[J]. 计算机科学与应用, 2022, 12(10): 2331-2337. https://doi.org/10.12677/CSA.2022.1210238