DOI: 10.12677/CSA.2023.139178, PDF, HTML, XML,  被引量    科研立项经费支持
作者: 王卓：广东工业大学计算机学院，广东 广州
关键词: 对抗样本；黑盒攻击；图像仿射变换；梯度细化；可迁移性；Adversarial Example； Black-Box-Attack； Affine Transformation； Gradient Refining； Transferability

文章引用：王卓. 基于仿射变换和梯度细化的对抗样本生成方法[J]. 计算机科学与应用, 2023, 13(9): 1796-1805. https://doi.org/10.12677/CSA.2023.139178

1. 引言

尽管深度神经网络(Deep Neural Networks, DNN)在各种图像任务中表现优良，例如在图像分类领域 [1] ，但研究表明对待识别的样本插入微小不可见扰动形成的对抗样本可导致神经网络的给出错误分类 [2] 。在已提出的对抗样本攻击方法中，主要分为白盒攻击和黑盒攻击。在白盒条件下，攻击者具备或者有能力获取神经网络模型结构、参数等先验知识，攻击者能生成对此模型更有针对性的对抗样本 [3] ，现已提出了大量白盒攻击方法，如FGSM (Fast Gradient Sign Method) [4] 、I-FGSM (Iterative Fast Gradient Sign Method) [5] 和MI-FGSM (Momentum Iterative Fast Gradient Sign Method) [6] ，这些攻击方法需知道给定模型的梯度信息。与白盒攻击相反，黑盒攻击无法获取攻击模型的结构、参数等相关知识。

对抗样本具有迁移性，即利用一个模型生成的对抗样本能成功地攻击另一个模型 [7] ，迁移性的存在能够使得攻击者在无法获得模型结构和参数的黑盒攻击中，使用已知模型生成对抗样本来完成攻击 [8] 。现有的基于梯度的攻击方法，在白盒攻击中，有着较高的攻击成功率，但在黑盒条件下，攻击成功率却不理想，上述问题被认为是对抗样本的过拟合现象 [9] ，导致其生成的对抗样本迁移性不足。若能提升对抗样本的迁移性，将会增加对抗样本的黑盒攻击成功率。

为提升对抗样本的迁移性，本文使用图像的仿射变换和梯度细化来对样本的生成过程进行优化。主要工作如下：

1) 使用图像的仿射变换来增加对抗样本的泛化能力，从而缓解过拟合问题，提高样本迁移性。

2) 使用梯度细化方法来消除图像随机变换所带来的消极噪声梯度，降低消极噪声梯度对对抗样本泛化能力的影响。

3) 在ImageNet数据集上进行了单模型攻击和集成模型攻击实验，并与I-FGSM [10] 和MI-FGSM [11] 方法进行对比。

2. 相关工作

2.1. 对抗样本的生成方法

有研究表明，对抗样本能对深度神经网络进行攻击 [10] 。Szegedy等人 [11] 指出，深度神经网络在对抗样本的攻击下是极其脆弱的，并提出了一种基于优化的L-BFGS方法。Goodfellow等人提出了快速梯度符号法，此方法仅使用单次梯度计算来生成对抗样本，来减小生成对抗样本的计算代价。Alexey等人将此方法扩展为了迭代版本，大大增加了白盒攻击的成功率，并表明生成的对抗样本能够存在于物理世界中。Donger等人提出了一种基于动量的迭代方法，对梯度的更新方向和其收敛过程进行了优化，此方法还通过同时攻击一组网络来提高提高其迁移性 [12] 。

2.2. 对抗样本的防御方法

面对对抗样本的安全威胁，现已提出了许多方法来防御对抗样本。其中，对抗训练 [8] 是一种常用的方法，该方法提出在训练数据集中添加对抗样本来对模型进行训练，以此来提高模型的鲁棒性。Tramèr等人 [12] 提出了一种集成对抗训练的方法，来弥补对抗训练过程中的不足，即训练其他的模型，并使用其传递过来的扰动对训练数据进行增强。Guo等人 [13] [14] [15] 利用随机的图像变换，使得图像在保持关键视觉内容的同时消除对抗扰动。Prakash等人 [16] 提出一种像素偏移和软小波去噪相结合的框架，以抵御对抗样本。

3. AF-R-MI-FGSM方法

在本节中将对本文提出方法和基于梯度生成对抗样本算法AF-R-MI-FGSM (Affine And Refine Momentum Iterative Fast Gradient Sign Method)进行详细描述。定义x为输入的原始干净样本， $y^{true}$ 为样本的真实标签， $\theta$ 为模型参数， $L(x,y^{true};\theta )$ 为损失函数。在对抗样本的生成过程中，需要使损失函数 $L(x,y^{true};\theta )$ 最大化，以此来生成一个与原始样本x在人眼上难以区分的 $x^{adv}$ 来欺骗深度学习模型，从而让模型给出一个错误的分类结果。对于扰动大小的限制，本文使用无穷范数来进行制约，即 ${\Vert x^{adv}?x\Vert }_{\infty }\le \epsilon$ 。

3.1. 基于梯度生成方法

FGSM是此类方法中最早提出的，利用梯度信息来生成对抗扰动，并对扰动使用无穷范数限制，其更新公式如下，

$x^{adv}=x+\epsilon ?sign({?}_{x}L(x,y^{true};\theta ))$ (1)

FGSM沿着梯度的方向，仅使用单步添加扰动，来达到快速生成对抗样本的目的。但单步变化不够精准，导致其白盒成功率偏低。

I-FGSM是在FGSM的基础上增加了迭代的过程，将FGSM中的梯度进行多步迭代计算，使其梯度变化更为精准，提升了方法的白盒成功率。其公式如下，

$x_0^{adv}=x,$

$x_{t+1}^{adv}=Cli{p}_x^{\epsilon }\{x_t^{adv}+\alpha ?sign({?}_{x}L(x_t^{adv},y^{true};\theta ))\}$ (2)

其中， $Cli{p}_x^{\epsilon }$ 函数是将对抗样本限制在原始样本x的 $\epsilon$ 领域内， $\alpha$ 为步长， $T(0,1,2,\dots ,t)$ 为迭代次数， $\alpha =\epsilon /T$ 。

I-FGSM使用了迭代来逐步生成扰动，使其梯度变换更为平稳，但由于迭代的次数增加，生成的对抗样本会出现过拟合现象，导致其迁移性降低。

MI-FGSM是在迭代的过程中使用动量，此方法能够稳定梯度的更新方向并且能避免局部的极大值问题，其公式如下，

$g_{t+1}=\mu ?g_t+\frac{{?}_{x}L(x_t^{adv},y^{true};\theta )}{{\Vert {?}_{x}L(x_t^{adv},y^{true};\theta )\Vert }_1}$

$x_{t+1}^{adv}=Cli{p}_x^{\epsilon }\{x_t^{adv}+\alpha ?sign(g_{t+1})\}$ (3)

其中， $\mu$ 是动量的衰减因子， $g_t$ 是迭代时的累积梯度。

MI-FGSM使用动量来解决局部最优值的问题，来提高对抗样本的迁移性。

为了进一步提升对抗样本的迁移性，增加其黑盒攻击成功率，本文提出了一种基于仿射变换和梯度细化的生成方法，来缓解对抗样本的过拟合现象，提高对抗样本的迁移性。

3.2. 基于仿射变换和梯度细化生成方法

在深度神经网络训练中，数据增强是一种常用的用于解决过拟合问题的方式，本文采用一种仿射变换的数据增强方式来缓解生成对抗样本中的过拟合现象，AF-MI-FGSM方法。图像的几何变换有很多种，其中包括一些基本变换(如平移、旋转、裁剪等)，图像的仿射变换就是将基本变换进行组合，来实现一种更加复杂的图形变换。本文则采用平移和旋转的组合来对原始样本进行变换。该方法在每次迭代的过程中，对原始样本以概率p进行随机的仿射变换，以此增加对抗样本的迁移性，其变换公式如下，

$AF(x^{adv};p)\{\begin{array}{l}AF(x),\text{with}\text{?}\text{probability}\text{?}p\\ x,\text{with}\text{?}\text{probability}\text{?}1?p\end{array}$ (4)

公式(4)使用变换函数 $AF(?)$ 对原始样本进行随机的仿射变换，即对图像进行随机度数的旋转，在旋转的基础上对图像进行水平和垂直方向上的平移变换。转换概率p控制着原始样本转换的比例，以此方式来平衡生成样本的白盒和黑盒攻击成功率。

由于图像的变换的随机性，导致其生成的噪声梯度具有随机性。这种随机的噪声梯度所生成的扰动，将其加在干净的样本中，能够增加对抗样本的迁移性。然而与此同时，随机梯度中也存在部分噪声梯度，会抑制对抗样本的迁移性。为了缓解随机性带来的消极影响，同时保证对抗样本的迁移性，本文使用梯度细化方法来缓解消极梯度影响，AF-R-MI-FGSM。即相同图像经随机变换后所产生的n次噪声梯度，使用n次噪声梯度的均值来生成扰动，具体公式如下：

$g_i={?}_{x}L(AF(x_n^{adv};p),y^{true};\theta ),i=1,2,\dots ,n$ (5)

$g=\frac{1}{n}{\displaystyle {\sum }_{i=1}^n{g}_i}$ (6)

$x_{n+1}^{adv}=x_n^{adv}+\alpha ?sign(g)$ . (7)

公式(5)对图像 $x_n^{adv}$ 计算n次噪声梯度，由于图像输入模型采用的是随机变换处理，所以图像多次计算的噪声梯度是不同的。通过对多个噪声梯度求平均梯度，可以抵消部份的消极梯度，突出有效的梯度信息，如公式(6)所示。最后利用公式(7)来更新噪声，生成对抗样本。

3.3. 算法描述

上述的攻击方法属于FGSM家族中的一员，AF-R-MI-FGSM通过调整不同的参数设置，可以转换为FGSM家族中的其他方法，当 $n=1$ ，即仅使用单次梯度信息进行迭代时，AF-R-MI-FGSM退化为AF-MI-FGSM。当转换的概率 $p=0$ 时，即不对图像进行处理，仅使用原始样本生成对抗样本，方法则退化为MI-FGSM。具体转换关系如图1所示。

算法伪代码如下：

算法1：AF-R-MI-FGSM (单个模型)

输入：原始样本x以及其对应的真实标签 $y^{true}$ ，神经网络f和损失函数L，扰动大小 $\epsilon$ ，迭代次数T，衰减因子 $\mu$ ，每张图像的平均梯度次数n。

输出：对抗样本 $x^{adv}$

1) $\alpha =?/T$

2) $x_0^{adv}=x$

3) for t=0 to T do

4) 通过公式(4) $AF(x^{adv};p)$ 求取 $x_t^{adv}$

5) 通过公式(5)计算模型的损失函数并得到梯度 $g_i$

6) 对同一张图片进行n次梯度计算， $g_{1,2,3,\dots ,n}$

7) 通过公式(6)对上述n次梯度求均值，得到梯度g

8) 通过公式(7)更新 $x_{t+1}^{adv}$

9) 返回对抗样本 $x^{adv}=x_T^{adv}$ 。

3.4. 集成模型攻击

Liu等人认为，使用集成模型能够生成迁移性更强的对抗样本。由于对抗样本对多个深度神经网络保持对抗性，那么其更能够迁移到其它的分类网络中。因此，本节使用AF-R-MI-FGSM方法攻击集成网络来进一步提高样本的迁移性。

本文遵循文献 [6] 的策略，使用AF-R-MI-FGSM方法同时攻击多个网络，将多个网络的逻辑激活融合在一起，称此为逻辑集成。具体融合方式如下：

$l(x;{\theta }_1,\dots ,{\theta }_K)={\displaystyle {\sum }_{k=1}^K{\omega }_k{l}_k(x;{\theta }_k)}$ (8)

其中 $l_k(x;{\theta }_k)$ 表示参数为 ${\theta }_k$ 的第K个网络的逻辑输出值， ${\omega }_k$ 表示多个网络的集成权重，并满足 ${\displaystyle {\sum }_{k=1}^K{\omega }_k}=1$ 且 ${\omega }_k\ge 0$ 。

算法伪代码如下：

算法2：AF-R-MI-FGSM (集成模型)

输入：原始样本x以及其对应的真实标签 $y^{true}$ ，K个神经网络 $f(f_1,f_2,\dots ,f_k)$ ，其对应的网络逻辑值 $l(l_1,l_2,\dots ,l_k)$ 和网络集成权重 $\omega ({\omega }_1,{\omega }_2,\dots ,w_k)$ ，扰动大小 $\epsilon$ ，迭代次数T，衰减因子 $\mu$ ，每张图像的平均梯度次数n。

输出：对抗样本 $x^{adv}$

1) $\alpha =?/T$

2) $x_0^{adv}=x$

3) for t=0 to T do

4) 通过公式(4) $AF(x^{adv};p)$ 求取 $x_t^{adv}$

5) 将 $x_t^{adv}$ 输入到每个网络，并得到其对应的逻辑值 $l_k\left(x_t^{adv}\right),k=1,2,?,K$

6) 计算集成的逻辑值 $l\left(x_t^{adv}\right)={\displaystyle {\sum }_{k=1}^K{w}_k{l}_k\left(x_t^{adv}\right)}$

7) 根据集成逻辑值求取梯度，得到梯度 $g_i$

8) 对同一张图片进行n次梯度计算， $g_{1,2,3,\dots ,n}$

9) 通过公式(6)对上述n次梯度求均值，得到梯度g

10) 通过公式(7)更新 $x_{t+1}^{adv}$

11) 返回对抗样本 $x^{adv}=x_T^{adv}$ 。

4. 实验与结果分析

本节将对上述方法进行实验来验证其有效性，在单个模型和集成模型上都做了大量的实验来进行对比。在实验中，本文所提方法将与FGSM系列方法中的I-FGSM和MI-FGSM进行对比。

4.1. 实验设置

数据集。本文使用ImageNet数据集，从其验证集中随机选取1000张图片，共选取了1000个类别，即每一个类别选取了一张图片。所选取的图片都能够被本文所使用的分类网络正确分类。所有的图片大小都预先调整为299 × 299 × 3。

网络模型。在本文中，一共选取了6个网络模型，包含四个正常训练的网络模型，Inception-v3 (Inc-v3) [17] ，Inception-v4 (Inc-v4) [18] ，Inception-Resnet-v2 (IncRes-v2) [19] 和Resnet-v2-101 (Res-101) [19] 和两个经过了对抗训练的网络模型，adv-Inception-v3 (adv-Inc-v3)和ens-adv-Inception-Resnet-v2 (IncRes-v2-ens)。

实验细节。本文超参数的选择按照文献 [6] 中的设定，迭代次数 $T=10$ ，扰动量大小为 $\epsilon =16$ ，步长为 $\alpha =1.6$ 。对于MI-FGSM，其衰减因子 $\mu =1.0$ ，对于随机变换函数 $AF(x^{adv};p)$ ，其转换概率 $p=0.5$ 。对于公式(5)中对图像求 $n=9$ 次梯度，最后取平均梯度进行计算。

评价指标。在对抗样本的攻击领域中，采取对抗样本的攻击成功率(Attack success rate, ASR)来评价攻击算法的好坏，即被攻击模型的分类错误率。但在不同的攻击算法中，ASR有着不同的含义，本文采取无目标攻击的方式，即所生成的对抗样本能够使得分类网络给出一个与真实标签不一致的结果即可，无需使其分类为指定类别。因此，本文使用的ASR可被定义为：

$\text{ASR}=\frac{样本被错误分类的数量}{样本的总数量}\times 100\text{\%}$ (9)

4.2. 单模型攻击

本节中，使用单个深度神经网络来生成对抗样本，对分类模型进行攻击。实验使用I-FGSM、AF-R-I-FGSM以及MI-FGSM、AF-R-MI-FGSM方法，分别在在四个正常训练的网络模型上生成对抗样本，并在所有的6个网络模型(包括四个正常训练的网络模型和两个经过了对抗训练的网络模型)上进行攻击。实验结果如表1所示。

表1中的结果表明，AF-R-I-FGSM和AF-R-MI-FGSM方法在黑盒设定下的攻击成功率高于其它攻击方法并且在白盒设定下也保持着较高的攻击成功率。例如，使用Inc-v3网络模型，来生成对抗样本，攻击正常训练的网络模型Inc-v4时，AF-R-MI-FGSM方法的黑盒攻击成功率达到了70.8%，而I-FGSM和MI-FGSM仅有21.8%和42.1%。攻击对抗训练的网络时也表现出了良好的性能，在IncRes-v2网络上使用MI-FGSM和AF-R-MI-FGSM方法生成的对抗样本进行黑盒攻击，其平均攻击成功率分别为33.8%和51.5%。与MI-FGSM相比，AF-R-MI-FGSM的整体平均黑盒攻击成功率提升了14.3%。说明了将仿射变换和梯度细化引入到对抗样本的生成过程中，能有效的增强样本的迁移性，从而提升其在黑盒条件下的攻击性能。

在仅使用仿射变换，即AF-MI-FGSM方法，生成的对抗样本的攻击成功率均低于使用了梯度细化的攻击方法，AF-R-MI-FGSM。如表1结果所示，AF-MI-FGSM方法的平均黑盒攻击成功率为37.2%，而AF-R-MI-FGSM方法的平均黑盒攻击成功率为46.6%，提高了9.4%。证明了使用梯度细化能够在一定程度上缓解因随机变换所产生的消极梯度影响。

4.3. 集成模型攻击

表1的结果表明AF-R-MI-FGSM方法能提高对抗样本的迁移性，但还能够使用集成网络来生成对抗样本，进一步提高其黑盒攻击成功率。实验遵循文献 [15] 的设定，通过集成多个网络的逻辑值，来生成对抗样本。本实验集成四个正常训练的网络模型，使用I-FGSM、AF-R-I-FGSM以及MI-FGSM、AF-R-MI-FGSM方法来生成对抗样本，并在所有的6个网络模型上进行攻击测试。在实验中，迭代次数 $T=10$ ，扰动大小 $\epsilon =16$ ，集成模型使用相等的集成权重， ${\omega }_k=1/4$ 。其实验结果如表2所示。

表2的结果表明，使用AF-R-MI-FGSM方法在集成模型上生成的对抗样本，其黑盒成功率更高。例如，AF-R-MI-FGSM方法生成的对抗样本攻击经过对抗训练的网络时，其平均黑盒攻击成功率为47.5%，而MI-FGSM仅有25.4%，提高了22.1%。同时，在白盒攻击方面，AF-R-MI-FGSM也保持着较高的成功率，均在90%以上。

4.4. 超参数研究

4.4.1. 转换概率p对攻击成功率的影响

本节研究不同转换概率对AF-R-MI-FGSM方法的影响，使用AF-R-MI-FGSM方法在四个正常训练的网络的集成来生成对抗样本，并在所有的6个网络上进行测试，以此来评估不同转换概率对于攻击成功率的影响。转换概率p从0以0.1步长增加到1，其他超参数设置，迭代次数 $T=10$ ，扰动大小 $\epsilon =16$ ，动量衰减因子 $\mu =1.0$ 。

实验结果如图2所示，其中Inc-v3、Inc-v4、IncRes-v2、Res-101表示，AF-R-MI-FGSM方法在正常训练的网络模型上的白盒攻击成功率。adv-Inc-v3和IncRes-v2-ens则表示，在使用了对抗训练的网络模型上，进行黑盒攻击，其成功率的变化趋势。实验结果表明，随着转换概率p的增大，其白盒成功率是逐步降低的，但趋势平稳且还保持着较高的成功率。其黑盒的攻击成功率随着转换概率p的增加而不断地增加。

4.4.2. 扰动大小 对攻击成功率的影响

本节研究不同扰动大小对各方法的攻击成功率的影响，实验使用I-FGSM、AF-R-I-FGSM以及MI-FGSM、AF-R-MI-FGSM四种方法，将四个正常训练网络进行权重相等的集成，以此来生成对抗样本，并分别在两个对抗训练的网络上进行黑盒测试。本实验所设置的转换概率为 $p=0.5$ ，扰动大小 $\epsilon$ 从4以4步长增加到32。图3中的(a) (b)分别为攻击对抗训练网络adv-Inc-v3和IncRes-v2-ens，其中实线表示其黑盒攻击成功率的变化。实验结果表明，攻击成功率开始会随着扰动的增大而增大，当到达一个峰值后成功率其成功率会趋于平稳。

5. 结束语

基于仿射变换和梯度细化的对抗样本生成方法，使用数据增强技术来缓解模型的过拟合问题，使用梯度细化来解决随机变换带来的消极梯度影响，来提高对抗样本的迁移性。此外，通过使用集成模型进一步提升了对抗样本的迁移性。与MI-FGSM方法相比，AF-R-MI-FGSM方法单模型攻击的平均黑盒攻击成功率提升了14.3%，集成模型攻击的平均黑盒攻击成功率提升了22.1%。本文还对不同的转换概率进行实验研究，给出了最优参数建议。使用了梯度细化来消除随机变换带来的影响，对于非基于梯度的攻击方法不适用，寻找一种不需要梯度信息来消除随机变换影响的方法是今后探索的方向之一。

基金项目

广州市重点领域研发项目(202007010004)。

参考文献

[1]	Krizhevsky, A., Sutskever, I. and Hinton, G. (2012) ImageNet Classification with Deep Convolutional Neural Networks. 26th Annual Conference on Neural Information Processing Systems 2012, Lake Tahoe, 3-6 December 2012, 110-117.
[2]	陈晓楠, 胡建敏, 张本俊, 等. 基于模型间迁移性的黑盒对抗攻击起点提升方法[J]. 计算机工程, 2021, 47(8): 162-169.
[3]	Madry, A., Makelov, A., Schmidt, L., Tsipras, D. and Vladu, A. (2017) Towards Deep Learning Models Resistant to Adversarial Attacks.
[4]	Goodfellow, I.J., Shlens, J. and Szegedy, C. (2018) Explaining and Harnessing Adversarial Examples. https://arxiv.org/abs/1412.6572
[5]	Kurakin, A., Goodfellow, I. and Bengio, S. (2017) Adversarial Examples in the Physical World. https://arxiv.org/abs/1607.02533v4
[6]	Dong, Y.P., Liao, F.Z., et al. (2018) Boosting Adversarial Attacks with Momentum. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, 18-23 June 2018, 9185-9193. https://doi.org/10.1109/CVPR.2018.00957
[7]	Liu, Y.P., Chen, X.Y., Liu, C. and Song, D. (2021) Delving into Transferable Adversarial Examples and Black-Box Attacks. https://arxiv.org/abs/1611.02770
[8]	Carlini, N. and Wagner, D. (2017) Towards Evaluating the Robustness of Neural Networks. 2017 IEEE Symposium on Security and Privacy (SP), San Jose, 22-26 May 2017, 39-57. https://doi.org/10.1109/SP.2017.49
[9]	Wang, X.S., He, X.R., Wang, J.D., et al. (2021) Admix: Enhancing the Transferability of Adversarial Attacks. http://arxiv.org/abs/2102.00436V3
[10]	Tramer, F., Kurakin, A., Papernot, N., et al. (2020) Ensemble Adversarial Training: Attacks and Defenses. https://arxiv.org/abs/1705.07204v5
[11]	Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I. and Fergus, R. (2014) Intriguing Properties of Neural Networks. International Conference on Learning Representations.
[12]	Wang, G., Yan, H., Guo, Y., et al. (2021) Improving Adversarial Transferability with Gradient Refining. Computer Vision and Pattern Recognition.
[13]	Guo, C., Rana, M., Cisse, M., et al. (2018) Countering Adversarial Images Using Input Transformations. https://arxiv.org/abs/1711.00117v3
[14]	Xie, C., Wang, J., Zhang, Z., et al. (2017) Mitigating Adversarial Effects through Randomization. ICLR 2018 Conference Track. 6th International Conference on Learning Representations, Vancouver, 30 April-3 May 2018, 1-16.
[15]	Prakash, A., Moran, N., Garber, S., et al. (2018) Deflecting Adversarial Attacks with Pixel Deflection. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, 18-23 June 2018, 8571-8580. https://doi.org/10.1109/CVPR.2018.00894
[16]	杨博, 张恒巍, 李哲铭, 等. 基于图像翻转变换的对抗样本生成算法[J]. 计算机应用, 2022, 42(8): 2319-2325.
[17]	Szegedy, C., Vanhoucke, V., Loffe, S., et al. (2016) Rethinking the Inception Architecture for Computer Vision. Proceedings of 2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Las Vegas, 27-30 June 2016, 2818-2826. https://doi.org/10.1109/CVPR.2016.308
[18]	Szegedy, C., Loffe, S., Vanhoucke, V., et al. (2017) Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. Proceedings of the AAAI Conference on Artificial Intelligence, 31, 4278-4284. https://doi.org/10.1609/aaai.v31i1.11231
[19]	He, K.M., Zhang, X.Y., Ren, S.Q., et al. (2016) Identity Mappings in Deep Residual Networks. Proceedings of the 2016 European Conference on Computer Vision, Amsterdam, 11-14 October 2016, 630-645. https://doi.org/10.1007/978-3-319-46493-0_38