深度学习系统的对抗样本问题研究文献综述

1. 文献综述（或调研报告）：

随着快速发展和在广泛应用中的巨大成功，深度学习正在许多安全关键环境中应用。但是，最近发现深度神经网络容易受到精心设计的输入样本（称为对抗样本）的攻击。对抗样本是人类无法感知的，但在测试/部署阶段却很容易使深层神经网络蒙混。对抗样本的漏洞成为在安全关键型场景中应用深度神经网络的主要风险之一。

深度学习是一种机器学习，它使计算机无需显式编程即可从经验和知识中学习，并从原始数据中提取有用的模式。但是，对于常规的机器学习算法，由于诸如维度的诅咒之类的限制，很难提取出良好表示的特征，计算瓶颈，以及领域和专家知识的要求。深度神经网络是一种具有许多层（“深度”）网络的机器学习算法。深度学习通过构建多个简单函数来表示一个复杂的概念来解决表示性问题。例如，基于深度学习的图像分类系统通过描述隐藏层中的边缘，织物和结构来表示对象。随着可用培训数据数量的增加，深度学习变得越来越强大。深度学习模型解决了难题借助硬件加速的计算时间，解决了复杂的大型模型的问题。

首先介绍深度学习必备的一些原件：卷积神经网络（CNN）和递归神经网络（RNN）是最近的神经网络体系结构中使用最广泛的两个神经网络。CNN在隐藏层上部署卷积运算以实现权重共享和参数减少。CNN可以从类似网格的输入数据中提取本地信息。CNN在计算机视觉任务（例如图像分类）中显示出令人难以置信的成功, 物体检测和语义分割RNN是用于处理长度可变的顺序输入数据的神经网络。RNN在每个时间步均产生输出。基于输入数据和上一时间步长的隐藏神经元，计算每个时间步长的隐藏神经元。为了避免RNN长期消失/爆炸梯度术语相关性，长短期记忆（LSTM）和具有可控门的门控循环单元（GRU）在实际应用中被广泛使用。【11】

生成对抗网络（GAN）是Goodfellow等人介绍的一种生成模型。受塞格迪等人在对抗样本上的启发，古德费洛等人。发现对抗性示例可用于改进深度学习的表示并进行无监督学习他们使用生成网络（生成器）生成了样本，并使用了判别网络（dis判断者）来确定生成的样本是真实的还是假的。这种网络体系结构称为“生成对抗网络”（GAN），等等。【11】

对抗样本由Christian Szegedy等人提出，是指在数据集中通过故意添加细微的干扰所形成的输入样本，导致模型以高置信度给出一个错误的输出。在正则化背景下，通过对抗训练减少原有独立同分布的测试集的错误率——在对抗扰动的训练集样本上训练网络。对抗样本（Adversarial examples）是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。

对抗样本的攻防备受关注。Xiaoyong Yuan等的论文【11】中，将生成对抗样本的方法按三个维度进行分类，威胁模型（threat model）, 扰动（perturbation）, 基准（ benchmark）。对于现在已经有的对抗样本生成和防御的方法进行了分类。

Justin Gilmer的【1】中提出了对抗性同心高维球，他们利用数据流形的维度来研究输入维度的改变对神经网络泛化误差的影响，并表明神经网络对小量对抗性扰动的脆弱性是测试误差的合理反应。已经有大量工作证明，标准图像模型中存在以下现象：绝大多数从数据分布中随机选择的图片都能够被正确分类，但是它们与那些被错误分类的图片在视觉上很类似。这种误分类现象经常被称作对抗样本。这些对抗的错误在角度、方向和缩放方面有着很强的鲁棒性。尽管已经有了一些理论工作和应对的策略，但是这种现象的成因仍然是很难理解的。

目前有一些针对对抗样本而提出的假设：一个比较常见的假设就是神经网络分类器在输入空间中不同区域的线性特征太强了。另一个假设认为对抗样本不是数据的主要部分 。Cisse 等人则认为，内部矩阵中较大的奇异值会让分类器在面临输入中的小波动时变得更加脆弱（2017）。【4】

在尽力解释对抗样本背后的原因时，还有一些工作为增加模型的鲁棒性提出了一些应对方法。有的工作通过改变模型所用的非线性变换来增强鲁棒性 ，将一个大型的网络提炼成一个小型网络，或者使用正则化。其他的工作探索使用另一个统计模型来检测对抗样本。然而，很多这种方法都被证明是失败的 l 。最终，很多例子中出现了使用对抗训练来提升鲁棒性的方法。尽管对抗训练使得模型在面临对抗扰动时有所进步，但是在超越对抗训练所设计的范围时，局部误差还是会出现。【4】

文章主要得出了以下几点结论：与图像模型中类似的现象出现了：大多数从数据分布中随机选择的点被正确分类了，然而未被正确分类的点和不正确的输入很「相近」。即使在测试误差小于百万分之一的时候，这种现象仍然会发生。在这个数据集中，泛化误差和最近误分类点之间的平均距离存在一个权衡。尤其是，我们证明，任何一个能够将球体的少量点误分类的模型都会在面临 O(1 square root d) 大小的对抗扰动时表现得很脆弱。在这个数据集上训练得到的神经网络顺理成章地逼近误差集合最近误差平均距离的理论最优的权衡。这表明，为了线性地增加到最近误差的平均值，模型的错误率必须指数降低。还证明，即使忽略掉大部分的输入，在在这个数据集上训练的到的模型也能够达到极高的准确率。