随着人工智能技术在关键业务场景中部署逐渐深入，模型在复杂环境中的稳定性逐渐成为影响系统安全的重要因素。研究显示，深度学习模型在面对微小扰动时可能产生显著的预测偏差，这种现象不仅体现在构造的对抗样本中，也出现在常规数据分布的轻微变化下。相关证据表明，模型的脆弱性并非由外在攻击手段单独导致，而是与其内部结构、损失优化方式及特征传播过程密切相关。这一内生风险使得模型在真实应用中可能出现不可解释的误判，从而影响任务可靠性与决策可控性。

尽管已有大量研究从攻击与防御角度对对抗样本展开分析，但多数方法仍依赖外置检测，未能触及模型内部行为的关键机制。随着模型应用场景逐渐向安全敏感领域推进，亟需一种能够从模型自身出发、在结构设计与优化过程中同步嵌入防护能力的安全框架。基于此，近年来的研究开始关注人工智能内生安全，通过构建可量化的脆弱性描述与多层协同防御机制，尝试提升模型在动态环境中的稳态能力。

本研究围绕深度模型在对抗扰动下的内在行为展开分析，探讨其脆弱性来源，并提出从优化、结构与特征传播层面对内生安全的建模与构建方法，为人工智能系统的可信应用提供理论依据与设计路径。

1 绪论

1.1研究背景

随着人工智能（Artificial Intelligence,AI）技术的快速发展，深度学习技术驱动的智能系统正以前所未有的规模应用于多个领域，如语音识别、自然语言处理、计算机视觉等，而深度学习模型在图像分类、围棋、游戏等任务上的表现甚至超越了人类。虽然以深度学习为核心的AI模型，在大规模数据和高性能计算的支撑下展现出卓越性能，但是AI模型复杂的结构和高维特征空间也产生了新的安全隐患。研究发现，就算对模型输入施加极小的扰动，也会导致模型输出完全错误的结果，这类人为设计的扰动样本被称为对抗样本（Adversarial Example，AE）。

对抗样本所暴露出的内生脆弱性（Intrinsic Vulnerability）不是传统意义上的外部攻击，多半与模型自身的设计逻辑、训练过程中的目标权衡，以及数据样本的分布失衡有关。很多时候，AI的风险并非来自外部破坏，而是源于它在诞生之初就缺少自我防御和自我修复的思维。

从目前的研究来看，对抗样本攻击早已不再停留在理论阶段。Eykholt等人提出RP2（Robust Physical Perturbations）方法，在真实交通标志上粘贴特制贴纸，使深度学习模型将停车标志误识别为限速标志。在实验控制条件下，误分类率高达100%；而在车辆行驶的视频采集环境中，误分类率仍达84.8%。类似的情况在医疗领域也能被观察到，Finlayson等人发现，对医学影像施加极微扰动会导致严重误判，进一步揭示出模型对输入分布变化的高度敏感性。在图像识别、遥感分析等领域的研究也得出了类似结论，模型的鲁棒性在多种攻击场景下均会下降。

对抗攻击揭示的并不只是技术漏洞，而是深层次的结构问题。真正的防御应当回到模型内部去思考，如何让AI自身具备修复的能力，才是人工智能能否被信任的关键。

1.2研究意义

传统AI安全防护主要依赖外部检测、访问控制或策略限制等手段，属于被动防御，这类方法往往滞后于攻击发生，难以应对复杂的实时动态威胁。相比之下，内生安全理念强调将防御机制嵌入模型的设计、训练与运行全过程，使AI系统具备主动防御与自我修复能力。这种由外到内的安全模式转变，是实现可信人工智能的重要方向。

从应用层面看，对抗样本为研究AI内生安全提供了理想切入点。通过分析模型在对抗扰动下的响应，便可以揭示其结构性弱点，比如通过引入对抗训练、结构优化与输入检测机制，则可探索模型在架构层面实现内生防御的路径。这不仅有助于提升模型鲁棒性和可靠性，也为构建安全、可解释的智能系统奠定理论与实践基础。

1.3研究现状

自Goodfellow等人提出对抗样本概念以来，对抗学习已成为AI安全研究的重要方向。Madry等人提出投影梯度下降（Projected Gradient Descent，PGD）攻击与对抗训练方法，为鲁棒性研究提供了重要基础；Carlini和Wagner提出的CW攻击进一步揭示了防御方法的局限性；而Cohen等人提出的随机平滑方法（Randomized Smoothing），则为模型提供了可证明的鲁棒性保障。在应用层面，NIST于2025年发布的报告中，也正式将对抗性机器学习列为AI风险治理的重要组成部分。

整体来看，现有成果仍以特定模型优化为主，缺乏从系统架构与模型生命周期角度出发的内生安全机制研究。

1.4研究目标与主要内容

本文以对抗样本为研究切入点，从模型内部防御视角出发，探讨人工智能系统的内生安全机制设计路径。主要研究目标如下：

（1）揭示内生脆弱性机理。分析深度学习模型在结构、优化与特征传播层面的脆弱性根源，阐明对抗样本与模型鲁棒性之间的内在关联；

（2）构建内生脆弱性建模方法。建立可量化的脆弱性指标体系，为后续防御策略提供理论依据；

（3）提出多层协同防御体系。从感知、认知与调节三个层面设计人工智能内生防御框架，探索模型自适应修复与持续进化的实现机制。

本文旨在推动人工智能安全从“被动防御”向“主动自适应防御”转变，为构建具备自我防御、自我修复能力的智能系统提供理论依据与技术支持。

2对抗样本与人工智能内生安全概述

2.1 对抗样本的定义与分类

在人工智能安全研究领域，对抗样本揭示了模型在高维输入空间中的内生脆弱性，是研究AI内生安全特性的关键切入点。对抗样本是一种被恶意构造的样本，是指在原始输入上施加微小且人类难以察觉的扰动，诱导模型产生错误的预测。其数学表达式如下：

其中为原始输入，为扰动，为模型预测函数，为控制扰动幅度。根据Goodfellow等人提出的线性脆弱性假说，尽管深度神经网络整体表现出复杂的非线性特征，但在高维空间的局部区域却近似线性。一个经设计后的微小扰动便可以利用局部线性特征，在模型内部产生累积误差并导致预测结果完全错误。

根据攻击者掌握知识的多少可以将对抗样本攻击划分为白盒攻击、黑盒攻击和灰盒攻击三类。在白盒攻击中，攻击者拥有目标系统的所有信息，能够完全复制受攻击的系统；灰盒攻击场景最早由Meng和Chen提出，攻击者拥有不完整或不确定的信息；在黑盒攻击中，攻击者对被攻击的模型一无所知，但可以将模型作为数据库进行查询。

此外，扰动的迁移性使得在源模型A上生成的对抗样本可以攻击目标模型B，说明攻击具有跨模型的通用性。对抗攻击并非仅存在于模拟环境中，Eykholt等人和Zhong等人的实验均证实了真实世界中对抗样本的可行性与危险性，对抗攻击的威胁已经超越理论假设，成为现实场景中必须面对的安全挑战。

2.2 对抗样本的生成机理与模型脆弱性根源

深度学习模型的脆弱性主要来源于两个方面，一方面是上文中提到的高维空间中局部特征的线性累积会放大微小扰动，导致输出错误，另一方面则是紧贴样本的决策边界也为攻击提供了可乘之机。Carlini与Wagner提出的优化攻击算法能以极小扰动实现高效误导，这说明这种脆弱性是深度网络优化过程中的内生风险，而非外部数据噪声。

除了上述的结构性原因，模型的脆弱性也体现在更深层次的学习方式和数据依赖上。模型在学习机制上倾向于学习非鲁棒特征（non-robust features），即能提高准确率但缺乏泛化稳定性的统计规律性特征，当输入分布偏离训练集，这些特征容易失效并导致模型误判。部分研究还提出了内生鲁棒性（Intrinsic Robustness）的概念，认为模型的鲁棒性与数据流形的稀疏性、噪声分布紧密相关。当模型接触的数据分布过于单一或集中时，会导致模型的抗干扰能力从根源上被削弱。

综上所述，无论是结构上的线性特征，还是学习中对部分捷径的依赖，都表明对抗样本和对抗攻击的出现并非偶然现象，而是模型内部学习机制缺乏自我约束的必然结果。

2.3 防御策略与内生安全启示

为了应对对抗样本威胁，研究者们提出了多种防御策略，其中对抗训练被视为最有效的核心策略之一。Madry等人将最坏情况下的扰动直接嵌入到模型的训练环节当中，使模型在学习阶段就持续接触并适应攻击样本，从而提升鲁棒性。后续研究通过引入正则化约束、动态采样以及多尺度训练等改进方法，缓解了原始对抗训练中模型的性能损失问题。然而，对抗训练仍旧面临两个关键挑战，一是高强度的对抗样本生成需要大量的计算资源，二是在面对未知攻击时，仍存在泛化能力不足的问题。

输入检测和随机化是另外两种常见的防御方式。输入检测是通过置信度分析、特征重构等方法来判断异常输入，但检测器本身容易被针对性攻击绕过。随机平滑技术通过在模型的输入或决策阶段注入随机噪声来提升输出稳定性。但这些方法仍无法从根本上解决模型脆弱性问题。

这些防御策略从本质上来说均属于外生防御，即通过外部机制来增强安全性，而内生安全理念更强调将防御机制嵌入模型结构中，使系统具备原生抗扰与自适应能力。这种内生化路径更契合AI系统可信可持续发展的安全需求。

2.4 内生安全的关键要素

人工智能内生安全机制由输入检测、模型鲁棒、输出验证和安全反馈四个核心要素协同构建。输入检测负责前置的扰动识别，模型鲁棒提供内部抗扰能力，输出验证执行后置决策校验，安全反馈则实现基于异常样本的自适应优化。四者协同形成覆盖“输入、处理、输出、反馈”全链路的安全闭环。其结构关系如表1所示。

功能	实现方式	主要目标
输入检测	特征异常检测、置信度分析	识别潜在扰动，防止恶意输入进入系统
模型鲁棒	对抗训练、结构正则化	增强模型抗扰性能
输出验证	置信度评估、解释性分析	校验预测结果，减少误判
安全反馈	动态再训练、参数更新	实现系统的自适应修复与演化

该体系反映了AI内生安全从“被动防御”向“主动免疫”的演进过程。与传统的外部加固不同，内生安全强调防御能力的动态和演化，其核心并非消除所有攻击，而在于构建可识别、吸收并修复风险的自适应安全体系。

3攻击机理分析与内生脆弱性建模

3.1 对抗攻击的理论基础

从统计学习的角度看，传统深度模型的目标是最小化期望风险，即在样本分布下找到使平均损失最小的模型参数：

其中，表示按数据分布计算的期望损失，为损失函数，用来衡量模型预测与真实标签间的差距；为使平均损失最小的参数集合。该公式最早由Vapnik提出，用以描述算法的平均最优学习目标。此后，Bishop和Goodfellow等人在深度学习框架中集成并拓展了该思想，将其确立为现代机器学习的核心优化模型。

上述公式假设数据分布稳定且输入样本独立分布，而现实中常受到扰动或者恶意篡改影响难以成立。Madry等人在此基础上引入扰动项，将风险最小化问题扩展为鲁棒优化形式：

该极小-极大优化结构反映了模型与攻击者之间的动态博弈关系，是理解人工智能内生安全的理论起点。在此基础上，Tu等人从Lipschitz连续性出发，证明了对抗风险的上限不仅与模型容量有关，还和扰动半径成正比，该结果表明深度模型在高维空间中固有的损失不稳定性，为后续内生安全机制的构建提供了理论依据。

3.2 决策边界的几何特征与脆弱性来源

从几何视角来看，模型的对抗脆弱性主要由决策边界的空间结构决定。Tanay与Griffin提出的边界倾斜（boundary tilting）理论指出，深度模型在高维特征空间中形成的决策边界往往倾斜于数据流形主方向，从而在数据分布附近形成极薄的判别带，使得极小扰动就能够让样本越过决策边界产生错误决策。

Yang等人的研究进一步表明，模型鲁棒性与边界厚度密切相关，决策边界较厚的模型在输入扰动下表现出更强稳定性，而边界过薄则会形成易撕裂的判别面。

基于上述研究，可以在几何意义上对模型在输入空间的稳定性进行定量刻画。定义模型在样本点处的脆弱性函数：

其中，表示样本到最近决策边界的距离；表征局部曲率；为特征敏感度函数，用于衡量输入扰动对特征空间的放大效应，权重参数依据各指标的归一化方差设定，以保持量纲一致并兼顾不同维度的影响。该函数是一种经验性量化模型，用于描述不同区域的相对脆弱性。它为评估模型的局部风险提供了可观测依据，也为后续防御机制的构建提供了量化基础。

3.3 对抗攻击的实证机理与检测绕过现象

实证研究进一步揭示了模型在面对对抗扰动时的多层脆弱机制。Carlini与Wagner提出的C&W攻击算法通过优化目标函数设计可有效突破包括梯度遮蔽与输入检测在内的多种防御机制。从脆弱性函数来看，C&W攻击通过最小化扰动范数的同时，有效缩短了，从而在检测器特征分布中与正常样本重叠。这种距离压缩效应使检测模块难以区分受扰样本与自然样本，实现绕过检测的目的。其后续研究表明，多数基于置信度或特征异常的检测方法均可被绕过，十种主流检测器的防御率几乎全部归零，表明对抗攻击具有强大的自适应性。

Ma等人在医疗影像系统中的实验发现，输入端的微扰在卷积网络中呈现指数级放大，并在高层语义空间中持续保留。这表明模型的抗扰能力取决于整体特征传播路径，而非单一层的性能。因此，内生安全研究需采取全局视角，通过结构正则化或特征约束机制，系统性地抑制减少扰动放大效应，实现模型稳态约束。

人工智能模型的内生脆弱性源于从优化目标到网络结构再到特征传播的完整链条，包括优化目标对极端扰动的忽略、决策边界的几何脆弱性，以及特征传播对输入偏差的放大。为应对这一问题，可通过将脆弱性建模和鲁棒约束纳入训练过程，使模型具备自我修正能力。该思路为内生安全提供了可量化的脆弱性指标和自适应安全学习的基础框架。未来研究应致力于构建安全反馈闭环，实现模型从被动抵御到主动演化的转变。

4人工智能内生防御机制设计与验证

4.1 内生防御的概念与体系结构

传统防御方法往往依赖外部检测或独立模块，如输入过滤与异常识别，但由于这类机制与模型主体解耦，一旦攻击者绕过外部模块，系统便再次暴露于风险之中。内生防御强调将防御机制嵌入模型体系结构，使安全成为模型运行逻辑的一部分。

前文提出了内生安全的四个核心要素输入检测、模型鲁棒、输出验证与安全反馈，基于此，可进一步抽象为感知—认知—调节三层架构。感知层负责检测输入异常，认知层在模型内部维持对抗鲁棒性，调节层则实现自我反馈和持续学习。三者形成一个动态安全闭环，使系统具备自我诊断、自我恢复与自适应能力。

表2 层级映射与研究边界

层级	功能描述	覆盖要素	位置
感知层	异常输入检测、置信度分析	输入检测	外部
认知层	对抗训练、特征正则化、结构重构	模型鲁棒、输出验证	内生
调节层	输出检测、反馈更新、自适应调整	安全反馈	内生

输入检测属于外部数据接入的前置环节，更偏向数据安全与异常筛查，本文聚焦模型内部机制，因此以下分析仅覆盖认知层与调节层两部分。

4.2认知层内生防御——对抗鲁棒与结构优化

在模型层面，内生防御的核心是通过对抗鲁棒性与结构优化实现防御的自动化与常态化。对抗鲁棒性的实现主要依赖对抗训练框架。Madry等人提出的PGD对抗训练方法将最坏扰动样本纳入训练过程，证明了该方法在范数下的鲁棒性最优性。Zhang等人提出的TRADES框架通过在标准损失与对抗损失之间建立平衡，实现鲁棒性与精度的权衡；Shafahi等人则提出自由对抗训练（Free Adversarial Training）方法，在不增加训练迭代的情况下实现鲁棒增强。

除对抗训练外，结构优化也是内生防御的重要方向。Moosavi-Dezfooli等人指出浅层结构更容易形成可迁移扰动，深层残差结构可抑制线性传播。因此，通过网络结构重构，如引入跳连、正则化约束、层归一化可增强特征分布的平滑性与边界厚度，从而在设计层面实现内嵌式防御。

4.3认知层内生防御—语义一致性与可解释约束

认知层的核心目标在于确保模型在对抗扰动下依旧保持稳定与可解释的决策输出。Athalye等人指出，许多防御方法之所以失效，是因为它们仅在输入层操作，而模型内部的表征空间仍存在大量未受约束的脆弱维度。为此，应在特征层中加入稳定性约束，例如最小化特征扰动敏感度或增强层间特征相似性。

一种可行的策略是引入特征对齐正则（Feature Alignment Regularization），在模型内部保持相邻层梯度方向与特征分布的一致性，从而提升全局的鲁棒性与响应稳定性。另一方向是将可解释性机制融入模型优化同样关键。Grad-CAM和LRP等方法能够生成模型的关注区域分布，通过在训练过程中显式约束关注区域的语义一致性，使模型在受扰动时仍聚焦于关键语义特征。Ribeiro等人提出的LIME框架通过局部线性近似解释模型行为，为模型在受到对抗扰动时的语义偏移提供了可视化评估手段。

通过这些机制，模型不仅能在输出结果上抵御误导，还能在认知层内部实现对决策逻辑的自洽与可解释约束，从而强化其内生安全属性。

4.4 调节层防御：安全自适应与动态修复机制

在内生防御框架中，调节层可通过安全反馈机制，动态修正阈值并重构检测特征空间，从而在多轮训练中实现阈值自适应。这种机制使模型在面临动态攻击分布时，能够通过调整的敏感区域，恢复对抗样本的识别能力。AI系统应当具备类似自愈的能力，即在检测到异常行为后，能够自动调整参数或更新策略。当前研究提出了两种主要机制，一种是基于安全记忆（Secure Memory）的样本回放系统，即在检测到可疑输入后，将其特征缓存并用于后续再训练，从而增强模型在相似攻击下的抵御能力；另一种是基于动态阈值的输出修正机制，通过监测模型置信度分布的变化来判断是否触发自适应更新。

综上所述，当输入检测模块识别到高置信度异常样本时，将其特征嵌入向量与置信度分布传递至认知层，用于触发局部模型再训练或结构正则化增强。认知层在推理过程中监测输出稳定性，一旦判定预测置信度显著下降，即将异常标记与梯度信息反馈至调节层。调节层依据异常类型触发动态阈值修正，同时更新安全记忆，并在下一轮迭代中对认知层的对抗训练参数进行权重调整，实现“检测—训练—修正”三环循环。

5结论与展望

本文围绕人工智能模型的内生安全问题展开研究，从对抗样本揭示的结构性脆弱性出发，系统分析了深度学习模型在优化目标、决策边界与特征传播过程中的内生风险，并提出了基于“感知—认知—调节”三层架构的内生防御机制。研究表明，人工智能系统的脆弱性并非外部攻击的附属结果，而是源于模型内部结构与学习机制的不稳定耦合。通过在模型层嵌入鲁棒训练与结构优化，在认知层引入语义一致性约束，并结合调节层的动态反馈与安全记忆机制，可实现防御与学习的一体化融合，形成具备自诊断、自修复能力的安全闭环。

未来研究可从以下方向深化：一是构建更具通用性的脆弱性量化体系，结合多模态数据验证其适应性；二是探索模型安全与可解释性的统一优化框架，实现从鲁棒增强到语义透明的协同提升；三是将内生安全理念拓展至大模型与跨模态系统，研究其在开放环境下的持续演化与自适应能力。通过上述探索，人工智能安全有望由被动防护迈向主动免疫，实现从“可靠”到“可信”的根本跃迁。

参考文献：

1. [1] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[J].Computer science,2014.
2. [2] Eykholt K, Evtimov I, Fernandes E, et al. Robust physical-world attacks on deep learning visual classification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018.
3. [3] Finlayson S G, Bowers J D, Ito J, et al.Adversarial attacks on medical machine learning[J].Science,2019,363(6433):1287-1289.
4. [4] Bortsova G, Cristina González-Gonzalo, Wetstein S C, et al. Adversarial attack vulnerability of medical image analysis systems: Unexplored factors[J].Medical image analysis,2021,73(01):102141.
5. [5] 王科迪,易平.人工智能对抗环境下的模型鲁棒性研究综述[J].信息安全学报,2020,5(03):10.
6. [6] 孙浩,陈进,雷琳,等.深度卷积神经网络图像识别模型对抗鲁棒性技术综述[J].雷达学报,2021,10(04):24.
7. [7] 孙浩,徐延杰,陈进,等.多源遥感影像深度识别模型对抗攻击鲁棒性评估[J].遥感学报,2023,27(08):1951-1963.
8. [8] Carlini N, Wagner D. Towards evaluating the robustness of neural networks[C]//2017 IEEE symposium on security and privacy.2017.
9. [9] Cohen J M, Rosenfeld E, Kolter J Z. Certified Adversarial Robustness via Randomized Smoothing[C]//International conference on machine learning.2019.
10. [10] Zhong Y, Liu X, Zhai D, et al. Shadows can be dangerous: Stealthy and effective physical-world adversarial attack by natural phenomenon[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2022.
11. [11] Qian Z, Huang K, Wang Q F, et al. A survey of robust adversarial training in pattern recognition: Fundamental, theory, and methodologies[J].Pattern recognition,2022,131:108889.
12. [12] Vapnik V N. An overview of statistical learning theory[J].IEEE transactions on neural networks,1999,10(05):988-999.
13. [13] Bishop C M, Nasrabadi N M. Pattern recognition and machine learning[M].New York: Springer,2006.
14. [14] Tu Z, Zhang J, Tao D. Theoretical analysis of adversarial learning: A minimax approach[J]. Advances in neural information processing systems,2019,32.
15. [15] Yang Y, Khanna R, Yu Y, et al. Boundary thickness and robustness in learning models[J]. Advances in neural information processing systems,2020,33:6223-6234.
16. [16] Rifai S, Vincent P, Muller X, et al. Contractive auto-encoders: Explicit invariance during feature extraction[C]//Proceedings of the28th international conference on international conference on machine learning.2011.
17. [17] Carlini N, Wagner D. Adversarial examples are not easily detected: Bypassing ten detection methods[C]//Proceedings of the10th ACM workshop on artificial intelligence and security.2017.
18. [18] Ma X, Niu Y, Gu L, et al. Understanding adversarial attacks on deep learning based medical image analysis systems[J].Pattern recognition,2021,110:107332.
19. [19] Zhang H, Yu Y, Jiao J, et al. Theoretically principled trade-off between robustness and accuracy[C]//International conference on machine learning.2019.
20. [20] Shafahi A, Najibi M, Ghiasi M A, et al. Adversarial training for free![J].Advances in neural information processing systems,2019,32.
21. [21] Moosavi-Dezfooli S M, Fawzi A, Fawzi O, et al. Universal adversarial perturbations[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017.
22. [22] Athalye A, Carlini N, Wagner D. Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples[C]//International conference on machine learning.2018.
23. [23] Ribeiro M T, Singh S, Guestrin C. "Why should I trust you?" Explaining the predictions of any classifier[C]//Proceedings of the22nd ACM SIGKDD international conference on knowledge discovery and data mining.2016.