DR临床诊断过程：临床医生通过分析微血管动脉瘤(MA)、渗出、出血、新生毛细血管和棉絮状点的数量、位置、大小来判断DR病情 [1] 。DR自动诊断系统的发展经历了几个阶段。针对不同症状有几类糖尿病视网膜病变计算机辅助诊断系统：主要有基于微血管动脉瘤、基于渗出、基于出血和基于所有特征的糖尿病视网膜病变计算机辅助诊断系统。本文主要针对基于所有特征(整个图像)的糖尿病视网膜病变开展研究和一维信号相比，图像占用的内存空间较大，并且图像特征更复杂，要处理这么多特征，算法就需要更加复杂。但因为算力不足，在早期复杂的算法计算机无法实现。因此，早期研究人员难以开发出诊断效果很好的自动诊断系统。另外，眼底筛查设备很少和图像分辨率较低，因此数据量少并且数据质量偏低，也是限制科研人员开发效果更好的诊断系统的原因。然而，随着数字时代的到来，各种眼底成像设备，更加完善的筛查以及算力更强的计算机的出现，使得科研人员可以在大量高清晰的眼底图像上采用更加复杂的算法进行研究。相比之下，传统机器学习通常采用人工标注特征的方法进行DR诊断 [2] 。因此模型效果受数据标注的质量和数量影响较大，而且这种方法费时费力。在互联网、移动设备和各种电子成像设备产生海量数据，加上GPU产生的大算力以及深度学习算法的发展，深度学习以压倒性的优势完胜基于传统手工标注的方法 [2] 。受深度神经网络在图像分类任务中取得的惊人成功影响，国内外大量研究开始利用深度神经网络建立糖尿病视网膜病变自动分类系统。

国内，2015年张庆鹏开发了一个自动判断眼底是否出现微血管瘤的软件 [3] 。李博开发了自动诊断新生血管的算法，该算法主要针对出现威胁视力的DR及时做出诊断 [4] 。2017年，丁蓬莉在CompactNet网络上分类DR达到了0.69的准确率 [5] 。罗院生使用SegVessel网络在Kaggle的diabitic-retonipathy-detection数据集上达到了0.93的准确率 [6] 。马文俊采用DrNet网络，在上述数据集上达到了0.81的准确率 [7] 。在California Healthcare Foundation和EyePACS发布的眼底图像集(35,126张彩色眼底图像)上达到了0.81的分类准确率。2018年，Zhixi Li等人在10万多张包括多种族DR眼底图像上，建立了基于卷积神经网络的模型(DLA)，达到了较高的准确率 [8] 。李郭利用卷积神经网络特征提取，用多层感知机做分类器，在Kaggle的一个6000张DR眼底图像上达到了，55.13%的准确率 [9] 。方全在Kaggle公开的2015年竞赛数据集(29,874张)上，利用改进的AlexNet和VGG-16网络进行分类，达到了0.77的准确率 [10] 。蔡石林在ResNet和DenseNet网络基础上建立神经网络，在8万张Kaggle数据集和Messidor-2数据集上达到了0.9的准确率。2019年的商逸凡利用集成学习，即将数据预处理、数据增强和卷积神经网络集成在一起对眼底图片进行分类 [11] ，以及2020年的李芳君利用从浅层神经网络到深层逐步训练的方式 [12] ，在各自的数据集取得了较好的分类效果。

国外，2019年，Dekhil等人利用迁移学习和卷积神经网络在Kaggle APTOS 2019数据集上达到了77%的诊断准确率 [13] 。Yuchen、Wu等人在预训练的VGG19、ResNet50网络上对DR疾病进行分类，结果显示迁移学习比无迁移学习达到更高的准确率 [14] ，这些方法表明迁移学习提高了模型效果。另外，在工作 [15] - [18] 中采用不同的算法实现DR的诊断，并且准确率均已很高：在各自不同的数据集上达到超97%的诊断准确率或者与眼科专家相当或者超过专家。其中，2019年，Jordi等人在基于卷积神经网络的基础上，提出了多次迭代的方法达到了专家级别的准确率。2020年，Wang、Xiangning等人，在500多张DR眼底图片损伤和特征信息已经手工标注的图片数据集以及多个公开数据集上，利用强化学习和多级迭代卷积神经网络训练，进行DR分级，达到了超98%的准确率。2021年，Phong等人利用粒子群算法分类DR，Shankar等人用的是Inception模型。

以上这些研究，效果越来越好，因为采用的深度神经网络越来越深，算力也更强，再加上迁移学习等技术的应用。从以上论文中的实验结果上看，已经使得DR分类达到了很好的效果，但由于以下问题还没有得到解决，大部分神经网络还未能在医疗领域得到实际应用：神经网络的黑箱问题；数据不平衡和数据量小等。虽然神经网络的分类准确率很高，但考虑到大部分样本是不需要治疗的DR，而真正分类那些需要治疗的样本很少。这就是说，如果神经网络判断所有样本都为正常眼底图像，则其准确率也很高。而这样的分类器显然是毫无意义的，因此数据不平衡对分类器影响很大，而且采用的神经网络不具有可解释性，导致无法对输出分类结果做出解释分析，导致即使模型犯了错误也难以发现。2019年，Li T.等人比较各个常用模型在DR分类和特征识别中的表现，发现虽然大多数算法准确率很高，但与医生判断DR病情(通过观察和计量眼底损失程度)并不相同，而且这些方法在损失分割和检测上表现很不理想 [19] ，这也说明了高准确率分类模型仍然没有得到实际应用的原因，因此我们除了准确率等相关标准外，需要在可解释性上进行研究。

关于神经网络的可解释性，深度学习要在医疗领域得到应用，除了很高准确率外，神经网络的诊断过程和原理也同样重要，否则，医疗机构通常不会选择这种具有不确定性设备，因为，医疗机构要为自己所用的设备造成的后果负责。这导致深度学习难以在医疗领域大范围应用 [20] 。因此，研究具有可解释性的神经网络十分重要。

关于分类模型可解释性主要分为两大类：对分类器的可解释性和对抗生样本的可解释性。本文主要介绍对分类器的可解释性。对分类器的可解释性包括：对预测结果的解释和对内部表征的可视化和分析。

对预测结果的可解释性，最早是2016年，Zhou等人在 [21] 中，建立了一种对分类器分类结果做出可视化热图的方法：类别激活映射(CAM) [21] ，主要是根据模型预测结果计算模型最后一层卷积层后的全局池化层的梯度值，然后将该值乘到其上一层卷积层的输出上，形成一个热力图，通过这种方法可以显示输入图片中各个部分在预测结果中的影响大小。在CAM基础上，相继发展出梯度加权类别激活映射(Grad-CAM) [22] 和GBP (Guided-Backpropagation) [23] 等解释性可视化方法。但对效果评价方法一直没有。直到2020年，Junsuk Choe等人设计了一个评估模型弱监督定位效果的标准(CAM原本用于模型分类结果解释，也可用于弱监督定位)，在此标准上评估了过去几年弱监督定位方面的工作，根据这个标准显示，效果最好的依然是CAM [24] ，这也反映出CAM的效果很好。但由于CAM采用了全局平均池化层，因此会一定程度地降低分类结果的准确性 [22] ，因此综合考虑分类器的准确性和可解释效果，采用Grad-CAM对神经网络输出结果进行解释是相对较好的方法。在2020年，Hongyang Jiang等人在25名医生手工标注病灶点的3228张DR眼底图像上，采用了基于Resnet和Grad-CAM的模型，建立了具有可解释性的眼底病灶识别的神经网络，达到了很好的识别效果和可解释性热图 [25] 。

内部表征的可解释性工作：Mu等人通过给模型内部神经元打上标签，利用神经元的语义概念给出可解释性 [26] 。McDuff等人利用生成模型生成的样本图片来测试分类模型的，结果发现分类器识别错误的多是用于训练分类模型时，数据较少类别 [27] 。由于内部表征的可解释性通常需要设计网络结构，训练好的模型较少，而且我们的目标任务属于小数据集上的分类任务，重新训练这样的网络不太适合。所以没有选择这种可解释性方法。

除此之外，越复杂的数据需要更深的网络才能取得较好的效果，而越深的网络需要更多数据才能充分训练模型，进而取得好的效果。然而糖尿病视网膜病变数据集通常为小数据，但DR图像却十分复杂，因此需要大型网络来拟合数据，所以DR分类任务面临数据小的问题。

为了利用小数据集训练大型网络，但小数据难以训练整个大型网络。那能否利用那些花费了大量人力物力训练好的大型网络中的大部分网络，而用我们目标数据集训练其中的小部分网络参数，使得训练后的大型网络能够适用于数据不足的任务，迁移学习就是采用了这个想法。对于小数据集的分类问题，用迁移学习是很好的解决办法，很多工作 [14] [28] 都利用了这一技术达到了很好的效果。由于本课题属于小数据集，因此本文也研究利用迁移学习这项技术。

基于以上分析，本研究采用迁移学习，通过在小数据集上使用大型预训练模型来训练DR分类模型。随后，利用Grad-CAM对模型的分类结果进行可视化解释，从而构建一个具有可解释性的DR分类深度学习模型。

数据来源于Kaggle公开数据集Diabetic Retinopathy Detection公开竞赛数据集，数据集是从多家医院收集的，其中的图像和标签都含有噪声，图像是很多成像设备拍摄的，有的图像包含伪影、曝光不够或曝光过度、不聚焦和尺寸不同等缺陷，而且部分图像无法判断属于哪个类别。数据集中包括35126张眼底图像，其中33545张是不影响视力的眼底图像，其它1581张是对视力造成伤害的DR眼底图像，显然数据存在分布不均的情况。

数据下载后，使用torch库中transposes方法进行处理：由于数据本身特点(眼睛是圆形的)，因此数据处理采用随机旋转、水平翻转、垂直翻转、平移、随机灰度化和随机颜色变化。并同时把所有图像数据统一更改为统一尺寸并转换为tensor格式以便输入模型。

除传统方法外，并采用过采样(即喂入模型中的数据按照各个类别的数据数量基本相同使得网络学习的样本数量各个类别一样，有些类别样本偏少，那么该类样本就会反复喂入网络)。按照放回抽样的方式，从各个类别中均匀抽取样本，根据样本分布d设计取样器权重w。

$\begin{array}{c}d=\left[25810,2443,5292,873,708\right]w=\left[0.1,1,0.5,3,4\right]\end{array}$ (2-1)

考虑到本研究是针对大量图像数据，选择GPU会节省模型训练时间。考虑到易用性和灵活性，采用pytorch框架。运行环境如下：

操作系统：Windows 10；编程语言：Python 3.8.4；深度学习框架：Pytorch 1.71。

CPU型号：IntelCorei3-9100F @ 3.60 GHz；31 GB内存。

GPU：GeForce RTX 2080 Ti。

为了使DR图片分类任务效果更好，考虑到糖尿病视网膜病变图像比较复杂，为了达到更好的效果，采用相对较深的网络，因为深层网络被证明能更好地处理复杂的分类任务。由于采用梯度下降法来优化神经网络，使得深层网络容易出现梯度消失的问题，处理该问题常用方法有采用长短时记忆(LSTM)、ReLU、Residual neural networks (ResNets)、Batch Normalization (BN)和DenseNet。ReLU和BN对梯度消失问题帮助有限，直到ResNets的提出，才使得深层网络模型开始大量使用。在ResNets基础上，DenseNet在更少的模型参数和更短的训练时间达到了更好效果 [28] 。因此，本研究选择以DenseNet网络为基础进行DR分类研究。

模型采用DenseNet121预训练的神经网络，采用微调迁移学习，即更改网络最后一层(FC层)，使得输出通道为5，训练该FC层和最后一个dense块中的最后三个dense层，固定其它层的网络参数。本研究采用的更改后的网络如 表1 所示：

模型搭建(Pytorch代码如下)：

model = models.densenet121(pretrained=True)

其中最后一层全连接层网络，即FC网络(只显示全连接层)如下：

model.classifier = nn.Sequential(

nn.Linear(in_features=1024, out_features=512, bias=True),

nn.Linear(in_features=512, out_features=256, bias=True),

nn.Linear(in_features=256, out_features=128, bias=True),

nn.Linear(in_features=128, out_features=64, bias=True),

nn.Linear(in_features=64, out_features=32, bias=True),

nn.Linear(in_features=32, out_features=16, bias=True),

nn.Linear(in_features=16, out_features=5, bias=True),

)

超参数设置：

学习率：0.0001，batch size：256 (设置大些以提高训练速度和训练效果)。

数据集：将数据集80%用于训练集，20%用于测试集，由于数据量小，训练集比重设置大些，提高模型训练效果。

模型：预训练DenseNet121。

优化器：Adam；损失函数：交叉熵。

主要程序如下：

#设置可训练层

for name, param in critic0.features.denseblock4.denselayer14.named_parameters():

param.requires_grad=True

for name, param in critic0.features.denseblock4.denselayer15.named_parameters():

param.requires_grad=True

for name, param in critic0.features.denseblock4.denselayer16.named_parameters():

param.requires_grad=True

critic0 = critic0.to(device)

#选择交叉熵损失函数

criterion = nn.CrossEntropyLoss()

#优化器选择Adam

optim = optim.Adam(critic0.parameters(), lr=LEARNING_RATE, betas=(0., 0.99), eps=1e-8)

d_scheduler = build_lr_scheduler(optim, -1)

#采用tensorboard可视化训练过程

writer_real = SummaryWriter(f"logs/GAN_MNIST/real")

writer_fake = SummaryWriter(f"logs/GAN_MNIST/fake")

step = 0

为了验证DenseNet121网络的优势，与常用图片分类网络Resnet101和VGG16进行比较，网络都是在相同的图像大数据集ImageNet上训练好的网络，并更改了网络最后一层全连接层，全连接层的设置相同，并且都相应选择最后一个包含卷积的网络块设为可训练，其它浅层网络设置为不可训练，超参数选择都相同。

采用tensorboard可视化模型的损失曲线(DenseNet、VGG和ResNet)如 图1 ~ 3 所示，图中深色线为损失平滑后的曲线，浅蓝色线为实际损失曲线。

由 图1 可见，Densenet121网络更易经过训练损失达到稳定后，模型损失为0.15左右，而且损失下降较平稳。

对比 图1 ~ 3 可见，Densenet121网络经过100轮训练后收敛，比VGG网络和Resnet网络收敛速度更快，训练过程也更加稳定。

进一步比较基于迁移学习DenseNet121网络与ReseNet101网络和VGG16网络之间的敏感性(Sensitivity)、特异性(Specificity)和准确率(Accuracy)，计算公式如2-2，2-3，2-4所示：

$\begin{array}{c}\text{Sensitivity}=\frac{TP}{TP+TF}\end{array}$ (2-2)

$\begin{array}{c}\text{Specificity}=\frac{TN}{TN+FP}\end{array}$ (2-3)

$\begin{array}{c}\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}\end{array}$ (2-4)

其中：TP为真正样本数、TN为真负样本数、FP为假正样本数、FN为假负样本数。

通过 表2 可见，基于迁移学习的Densenet121网络性能更好，仅特异性相较于VGG网络略差，敏感性和准确率都为三者最高。而且，模型收敛很快，100多个batch损失就降到0.15左右，显示了Densenet网络在性能上的优越性，也显示了迁移学习在提高模型训练效果上的明显作用。

2020年，Junsuk Choe等人在中提出了一种评估弱监督定位的方法，基于此方法，评估了最近的几个模型弱监督定位的方法，包括CAM、HaS、SPG、ADL和CutMix，发现在2016年的CAM方法之后提出的其他方法都没有比CAM效果更好 [24] 。这也一定程度上反映出CAM寻找模型关注点方面的优越性。但考虑到CAM存在的不足(需要改变网络结构以及降低分类准确性)。因此，本文选用CAM的进阶版——梯度加权类别激活映射(Grad-CAM)作为DR分类器模型可解释性方法。

具体步骤为，在模型训练前，将Grad-CAM加入到网络中，选取要加入的位置以及输出热力图保存的路径，本研究采用Densenet网络，Grad-CAM加到DensNet121的最后一个Dense Block的输出端，即Dense Block 4为最后一个Dense Block，其输出为(7, 7, 1024)。然后，计算模型分类结果中概率最大的值，然后计算损失函数再反向传播，计算那1024个神经元的梯度并求平均，用此梯度乘上一层的网络输出再求平均(在最后一个轴)得到(7, 7)大小的图，再上采样就得到了和图片大小相同的热力图。测试时，通过任选一个样本输入网络，即可得到分类结果和解释性热图。主要程序如下：

#选取样本

sample_x, sample_y = next(iter(train_loader))

critic0 = critic0.to('cpu')

#输出热图保存至文件夹：attention_maps

critic0=medcam.inject(critic0,output_dir=f"attention_maps", lay-er='features.denseblock4.denselayer16', backend='gcam', save_maps=True)

sample_x = sample_x.cpu()

s = s_x.unsqueeze(0)

prep = critic0(s)

#将图片通道移至最后一个轴上

sample_x1 = s.permute(0,2,3,1)

sample_np = sample_x1.cpu().squeeze(0).numpy()

#标准化图片

a = sample_np - np.min(sample_np)

b = np.max(a)

sample_np_nml = (a)/(b)

#读取热图

interpre_img_dir=f'/home/featurize/work/CWGAN-GP/attention_maps

/features.denseblock4.denselayer16/attention_map_0_0_0.png'

image_fm_PIL = PIL.Image.open(interpre_img_dir)

img_inter = transforms(image_fm_PIL).permute(1,2,0)

#将热图和输入图片进行叠加：

mix_img = img_inter * 0.1 + sample_np_nml*0.8

其中选择热图img_inter占比0.1，是因为热图比重太大就会看不出眼底图像的细节信息，同理如果样本图像sample_np_nml比重太小也看不清楚眼底图像了。

如 图4 所示， 图4(a) 为DR眼底图片， 图4(b) 为对应热图， 图4(c) 为前两者叠加后的效果图。

从 图4 中可见，红色区域为DR图片中对模型分类结果影响大的部位，黄色其次。通过热力图可见，

网络判断是根据图片中的一些特征包括病灶部位和其它信息，通过这种方式，我们能够更好地了解训练的模型，是否是按照人类判断的方法，同时，也许会为医疗人员带来一些新的想法，比如可能人类并没有发现的一些特征，而神经网络发现了，然后网络通过热力图告诉我们，它们关注的点。

热力图显示比较直观，但也存在不足，从 图4(c) 中可见，有些病灶部位(如中央凹下方的病灶)模型并未给予足够关注，有些非病灶部位(视盘左侧)却得到了一定关注，这与医疗人员通过眼底损失来确诊有一定不同，但通过这种方法，我们可以在训练模型时，得到更多信息，而不仅仅是看准确率。在医疗影像自动诊断中，我们更需要多看过程，在过程正确的基础上再提高准确率。下面进一步分析模型各种判断情况下热力图给出的解释。

如 图5 所示， 图5(a) 为模型判断正确(严重非增殖性DR)的热力图，从图中可见模型关注图中央病灶部位，显然模型判断过程是合理的。 图5(b) 为人也难以判断类别的眼底图像图片(严重非增殖性DR判断为正常DR)，模型选择了一些血管纹理进行判断，判断过程并不正确。这反映出模型可能会找一些医生不会关注的地方来进行识别。 图5(c) 为模型判断错误的图片(严重非增殖性DR判断为正常DR)。从图中可见，模型并未关注图中央病灶部位，而是关注于其它部位。这反映出模型出错的情况，而这种情况是

可能存在的，因为数据不平衡，导致模型倾向于寻找无病的DR特征，而无病的DR眼底图像是不存在病灶特征的，更多的是血管特征。从 图5(b) 和 图5(c) 可见，模型倾向于寻找血管特征，这反映出数据不平衡带来的问题。从热力图分析中我们可以看出我们的模型，存在对数据较少类别的DR眼底图像的偏见，在判断错误时更倾向于把更严重的病例样本判断为无病。

根据对热力图的分析发现，我们的模型还存在不足，如果单从准确率和敏感性特异性上看，只能看出模型效果并非十分理想，敏感性稍差0.77，同时准确率也只有88%，但除此之外并没有对模型判断过程或者关注点有更直观的信息。但通过热力图，我们可以明显发现模型出错的原因(数据少造成模型产生偏见)，这给我们如何进一步提高模型，带来了更直观和重要的信息。也为我们更加直观地显示出模型判断过程是否正确。显然，通过这种方法让我们更好地了解模型，也给“黑箱”带进来一缕阳光。