计算机断层扫描血管造影(Computed tomography angiography, CTA)由于其成像具有高分辨率以及无创性而被用于冠状动脉疾病诊断和治疗中,精准的冠状动脉分割对冠状动脉病变的诊断和治疗具有重要的作用。本文提出了一种基于两阶段全卷积神经网络的冠状动脉分割方法,有效地利用粗分割指导切块分割并进一步提升分割准确率。实验表明,本文的方法相比于其他常规的分割方法有一定的性能提升。 Computed tomography angiography (CTA) is used in the diagnosis and treatment of coronary artery disease due to its high resolution and non-invasive nature. Accurate coronary artery segmentation plays an important role in the diagnosis and treatment of coronary artery lesions. In this study, a two-stage fully convolutional neural network-based coronary artery segmentation model is proposed to effectively use coarse segmentation to guide fine segmentation, thereby improving accu-racy. Experiments show that the method in this paper has a large performance improvement compared to other single-stage segmentation methods.
计算机断层扫描血管造影(Computed tomography angiography, CTA)由于其成像具有高分辨率以及无创性而被用于冠状动脉疾病诊断和治疗中,精准的冠状动脉分割对冠状动脉病变的诊断和治疗具有重要的作用。本文提出了一种基于两阶段全卷积神经网络的冠状动脉分割方法,有效地利用粗分割指导切块分割并进一步提升分割准确率。实验表明,本文的方法相比于其他常规的分割方法有一定的性能提升。
冠状动脉,全卷积神经网络,两阶段分割
Chunbiao Wu
School of Computer Science and Technology, Guangdong University of Technology, Guangzhou Guangdong
Received: Mar. 4th, 2022; accepted: Apr. 4th, 2022; published: Apr. 11th, 2022
Computed tomography angiography (CTA) is used in the diagnosis and treatment of coronary artery disease due to its high resolution and non-invasive nature. Accurate coronary artery segmentation plays an important role in the diagnosis and treatment of coronary artery lesions. In this study, a two-stage fully convolutional neural network-based coronary artery segmentation model is proposed to effectively use coarse segmentation to guide fine segmentation, thereby improving accuracy. Experiments show that the method in this paper has a large performance improvement compared to other single-stage segmentation methods.
Keywords:Coronary Artery, Full Convolutional Neural Network, Two-Stage Segmentation
Copyright © 2022 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
心血管疾病(Cardiovascular disease, CVD)是心脏和血管疾病的统称,为当今世界主要的健康问题之一。根据《中国心血管健康与疾病报告2020》 [
随着计算机视觉的发展,各种各样的方法被用于基于CTA图像的冠状动脉分割中,主要可以分为传统图像分割方法以及深度学习图像分割方法。在传统图像处理方面,一些基于边缘和区域的算法被用于CTA图像中冠状动脉中。刘昊等人 [
近年来,深度学习方法飞速发展,其中卷积神经网络 [
然而现有深度学习分割冠状动脉的方法存在着分割精度低,忽略了全局信息以及需要大量计算资源的问题。针对这些问题,本研究提出了一种两阶段全卷积神经网络的冠状动脉分割方法,有效降低对高分辨率的3D CTA图像分割所需的计算资源。相比于其他在与原分辨率上分割的方案,如切块分割以及切片分割,通过粗分割指导的细分割得到了全局信息有效的提升冠状动脉分割的准确率。
本文提出了一种基于两阶段的冠状动脉分割方法,该方法主要分为粗分割以及切块分割两个阶段。其主要流程图1所示:
图1. 两阶段全卷积神经网络分割框架
本方法流程主要分为两部分,粗分割阶段以及切块分割阶段。1) 粗分割:进行对整张图像进行整体上的分割,由于在这一阶段得到的分割由于图像分辨率较高,受到计算资源限制,得到整体的分割准确率并不高;2) 切块分割:经过第一阶段的粗分割,根据粗分割结果,采用形态学处理得到分割的简略结构用于切块的制作。相比粗分割,切块分割更能捕捉到局部的细节部分,同时在该部分使用了加入注意力门的U-Net。
在粗分割阶段,本文采用了常用的3D U-Net结构作为该部分的分割网络。由于3D CTA为高分辨率的图像,若将其直接输入至3DCNN中得到高纬度的中间特征将占用大量的计算资源,通常将插值后的图像作为输入到神经网络中。然而经过下采样后的图像将损失一部分图像的信息,这对于分割冠状动脉细小管状物体而言是相当不利的。在该阶段使用了一种折中的方案,将图像放缩至低分辨率空间,同时降低神经网络的参数量,来达到粗分割的减少计算资源的消耗。本阶段采用分割网络的结构如图2所示。
图2. U-Net网络结构
U-Net整体呈“U”形,主要分为两部分。第一部分为局部降低特征图像分辨率的编码器部分,在每一个分辨率尺度下都通过两个Conv + ReLU + BN模块,再通过Max Pooling池化层来降低特征图的空间大小而增加其通道数。第二部分为恢复图像分辨率的解码器部分,通过上采样操作来扩大图像的空间特征同时减少通道数。在解码的过程中,解码器通过拼接的操作融合了来自编码过程中每一个尺度下的特征以恢复图像的细节部分。在最后一个卷积层使用卷积核大小为1 × 1 × 1的卷积层和Sigmoid层输入预测的概率图。除了最后一层的卷积层外,其他卷积层的卷积核大小为3 × 3 × 3,而且所有卷积操作步长为1,网络中每一层特征图的通道数如图2中的C表示。网络输入为插值后的图像,输出为同等分辨率下的分割图。
制作合适且包含分割目标的切块是完成切块分割的重要部分,这关系到在切块分割中的结果是否完整。由于冠状动脉为细小的管状结构,在粗分割阶段中损失的细节需要在原分辨率上的切块分割进行完善。为了减少产生不包含分割目标的切块,制作切块的过程以粗分割的结果作为先验区域。
制作切块的流程如图3所示。在第一阶段得到了冠状动脉的粗分割,对其进行骨架化的形态学骨架化处理,将粗分割的标签细化为骨架线。骨架线代表了管状物体的中心区域,即管状截面的圆心区域。将骨架线点作为切块的中心来得到切块,切块集合将包含了粗分割中的冠状动脉区域,然而会产生大量的重叠区域。本文使用了一种“挖除式”的切块合集制作。具体来说,首先通过某个骨架线点作为切块的中心,在切块包含的其余骨架线点不会作为中心来获得切块,即该切块中的所有骨架线点被“挖除”。通过循环,骨架点全部被挖除,则完成单个样本的切块制作。该方式能够有效的保证所有来自粗分割冠状动脉的区域被切块合集所包含。对每一个的粗分割结果使用这种方式获得多个切块从而形成切块合集。
图3. 制作切块流程图
最近几年,注意力机制在机器视觉方面中被广泛应用,注意力机制与人类专注于某些信息相似,用于聚焦输入图像关键部位而忽略与任务不相干的信息。一些注意力机制模块被加入到卷积神经网络中,使网络对关键空间物体信息进行重点关注,提升结果的准确性。注意力门模块(Attention Gate)被提出并结合到全卷积神经网络中,该注意力门采用了一种深层特征与浅层特征结合机制,融合两种特征为当前特征提供注意力机制的方式。
如图4所示,注意门模块有两个输入特征X和G,其中X为输入特征,G为门控特征,其中X,G的大小一致。注意力的具体的计算方式如式(1)所示:
图4. 注意力门机制
X a t t = σ 2 ( ψ ∗ σ 1 ( W g ∗ G + W x ∗ X + b g ) + b ψ ) ⋅ X (1)
其中 W g , W x , W ψ 为卷积核大小为1 × 1 × 1的卷积操作, b g , b ψ 为偏置。 σ 1 , σ 2 分别为ReLU,Sigmoid激活函数。*为卷积运算,为矩阵每个元素对应相乘。
在切块分割中,本文使用了加入了注意力门模块(Attention Gate)的3D U-Net模型。对于切块分割而言,由于输入的切块远远小于整张原始图像,使用复杂以及更多参数量的模型变得可行。
如图5所示,该网络的整体框架与2.1中的网络框架类似,在U-Net的跳接操作中加入了注意力门来增强跳接特征,深层特征经过上采用作为门控特征输入到注意力门中。深度特征具有更宽广的感受野,用于指导浅层特征的注意力集中区域。在整个网络结构中每个跳接层都加入了一个注意力门机制,同时在参数量上相对粗分割而言,除了最后一个卷积层,每个卷积层中卷积核的个数为粗分割的2倍,网络的拟合能力更强。将2.2.1中的切块输入网络中得到切块级别上的分割,同时根据制作时切块在原图像的位置,对切块进行重构。在重构的过程中存在着切块重复的部分,对于重复的部分使用预测中多个切块中产生概率最大值作为最终结果的生成概率。
图5. Attention gate U-Net结构
CTA图像数据由某医院提供,一共有200例。图像大小为512 × 512 × (206 − 275),平面分辨率为0.29~0.43 mm2,扫描层的间距为0.25~0.45 mm。每个图像中的左冠状动脉和右冠状动脉都由两个放射科医生独立标记,并且他们手动分割的结果通过交叉验证确定。如图6所示给出了图像的例子,a和b为3DCTA图像和标签的3D展示,c和d为图像以及标签的截断面展示,展示软件为开源软件3D Slicer。
图6. CTA图像以及标签
所有图像数据被用于方法训练以及测试,训练集和测试集的比例为3:1,其中训练集为160例,测试集为40例。所有的实验均在RTX 3090的GPU平台上运行。考虑到数据量的规模,将所有网络训练的epoch设置为50,优化器为Adam,学习率被设置为0.002。在粗分割阶段,网络训练的损失函数为交叉熵,输入图像大小为256 × 256 × 128,具体计算如式(2)所示:
L 1 ( Y ^ , Y ) = − [ Y log Y ^ + ( 1 − Y ) log ( 1 − Y ^ ) ] (2)
在切块分割阶段,输入切块大小为32 × 32 × 32,损失函数为Dice损失函数具体计算如式(3)所示:
L 2 ( Y ^ , Y ) = 1 − 2 | Y ^ ∩ Y | + 1 | Y ^ | + | Y | + 1 (3)
其中 Y ^ 为网络输出的预测概率,Y为真实标签。最后使用Dice系数评估分割结果。
为了验证模型的有效性,本文设计了常规的分割方法作为对比实验。
1) 切片分割:将3D CTA图像沿Z轴方向大小为512 × 512的切片作为分割网络2D U-Net的输入,完成分割重组为3D图像。
2) 直接分割:与粗分割类似,将3DCTA图像放缩至较低的分辨率空间,使用3D U-Net进行分割。
3) 切块分割:将3D CTA图像整齐的切割为若干个32 × 32 × 32小切块,输入分割网络中得到切块分割结果再进行重组,并得到最后的分割结果。
所有对比实验的网络使用同一规模的U-Net,损失函数使用Dice损失函数。
实验结果表明,本文的两阶段粗细分割在3D CTA图像中分割冠状动脉有一定效果。同时,使用两阶段分割方法相比于其他的常规分割方法结果有一定的提升。
本研究提出了一种两阶段全卷积神经网络的冠状动脉分割方法。该模型通过3D U-Net粗分割在整体上得到冠状动脉位置,根据粗分割的结果制作三维切块,使用三维Attention Gate U-Net对切块进行分割得到最后的分割结果。与常规直接分割模型结果对比,两阶段分割方案较优。说明本文的基于两阶段全卷积神经网络模型在冠状动脉的分割中有一定的效果。
吴春彪. 基于两阶段全卷积神经网络的冠状动脉分割研究A Study of Coronary Artery Segmentation Based on Two-Stage Fully Convolutional Neural Networks[J]. 计算机科学与应用, 2022, 12(04): 828-834. https://doi.org/10.12677/CSA.2022.124084
https://doi.org/10.1145/3065386
https://doi.org/10.1109/CVPR.2015.7298965
https://doi.org/10.14016/j.cnki.jgzz.2022.02.200
https://doi.org/10.1007/978-3-319-24574-4_28
https://doi.org/10.1109/EMBC.2018.8512328
https://doi.org/10.1007/978-3-319-46723-8_49
https://doi.org/10.1016/j.compmedimag.2019.101688