ToB企服应用市场:ToB评测及商务社交产业平台

标题: ai安全——应试预备 [打印本页]

作者: 缠丝猫 时间: 2024-8-14 23:18
标题: ai安全——应试预备
ai安全概要

人工智能推动社会经济各个范畴从数字化、信息化向智能化发展的同时，也面临着严重的安全性威胁。     ai安全面临的三个主要问题

  一、ai模子安全

  AI 模子安满是指 AI 模子面临的所有安全威胁，包罗 AI 模子在训练与运行阶段遭受到来自攻击者的功能破坏威胁，以及由于 AI 模子自身鲁棒性短缺所引起的安全威胁。
  1）训练完整性威胁，攻击者通过对训练数据进行修改，对模子注入隐藏的恶意行为。训练完整性威胁破坏了 AI 模子的完整性，该威胁主要包罗传统投毒攻击和后门攻击；
  2）测试完整性威胁，攻击者通过对输入的测试样本进行恶意修改，从而达到诱骗 AI 模子的目标，测试完整性威胁主要为对抗样本攻击
  3）鲁棒性短缺威胁，该问题并非来自于恶意攻击，而是来源于 AI 模子结构复杂、缺乏可表明性，在面对复杂的现实场景时可能会产生不可预计的输出。
  二、ai数据安全

  数据安全问题是指 AI 技能所使用的训练、测试数据和模子参数数据被攻击者盗取。针对 AI 技能使用的数据，攻击者可以通过 AI 模子构建和使用过程中产生的信息在一定程度上盗取 AI 模子的数据，主要通过两种方式来进行攻击：
  1）基于模子的输出效果，模子的输出效果隐含着训练/测试数据的相干属性。
   2）基于模子训练产生的梯度（参数），该问题主要存在于模子的分布式训练中，多个模子训练方之间互换的模子参数的梯度也可被用于盗取训练数据。
三、ai体系安全

  承载 AI 技能的应用体系主要包罗 AI 技能使用的底子物理装备和软件架构（pytorch等），是 AI 模子中数据网络存储、实行算法、上线运行等所有功能的底子。

对抗样本攻击

研究者还发现在输入数据上添加少量精心构造的人类无法识别的“扰动”，可以使 AI 模子输出错误的预测效果。这种添加扰动的输入数据通常被称为对抗样本（Adversarial Example）。在许多安全相干的应用场景中，对抗样本攻击会引起严重的安全隐患。属于ai模子安全。
以自动驾驶为例，攻击者可以在路牌上粘贴对抗样本扰动图案，使得自动驾驶体系错误地将“停止”路牌识别为“限速”路牌。这类攻击可以成功地诱骗特斯拉等自动驾驶车辆中的路标识别体系，使其作出错误的驾驶决策判断，导致严重的交通变乱。
隐私泄露

研究者发现 AI 技能在使用过程中产生的盘算信息可能会造成隐私数据泄露，比方攻击者可以在不打仗隐私数据的环境下使用模子输出效果、模子梯度更新等信息来间接获取用户隐私数据。在实际应用中，这类信息盗取威胁会导致严重的隐私泄露。属于ai数据安全。
比方：生物核身识别模子（如人脸识别）返回的效果向量可以被用于训练天生模子，从而规复如用户头像等训练数据中的敏感信息（原始输入数据）。攻击者乃至还可以通过输出效果盗取 AI 模子的参数，对模子拥有者造成严重的经济损害。在这种环境下，攻击者可能使用模子的输出来训练另一个天生模子，这个天生模子旨在从效果向量中重建或近似原始的输入数据（如用户的头像）。这种攻击通常被称为模子逆向攻击（Model Inversion Attack）。

对抗样本与对抗训练

这里详细先容一下对抗样本相干的知识

对抗样本：对抗样本是指经过微小、精心设计的修改（通常是不可察觉的）的输入数据，旨在诱骗机器学习模子，使其做出错误的预测。这些修改通常是通过在原始输入上添加人类难以察觉的噪声来实现的。对抗样本的存在揭示了深度学习模子在某些方面的脆弱性，尤其是在图像识别等范畴。
对抗攻击：对抗攻击是指使用对抗样本来攻击机器学习模子的过程。攻击者可能通过这种方法来规避或误导模子的行为，比方，在自动驾驶体系中，通过在路标上贴上对抗性贴纸，可能导致体系错误地识别路标。研究对抗攻击有助于开发更安全的机器学习体系。
对抗防御：对抗防御是指采取措施来保护机器学习模子免受对抗攻击的技能和方法。其中包罗对抗训练技能。
对抗训练：对抗训练是一种进步机器学习模子鲁棒性的技能。它使用对抗攻击算法天生对抗样本对数据集进行补充，弥补模子单薄的部门，从而增强模子面对恶意攻击时的鲁棒性。对抗训练可以使模子在面对潜在的对抗攻击时更加稳定和可靠。

天生对抗网络（GAN）

天生器（Generator）：

天生器的任务是天生看起来像真实数据的新数据。
它通常是一个深度神经网络，输入是一个随机噪声向量（通常是从高斯分布中抽取的），输出是一个数据点（比方图像）。
天生器的目标是诱骗鉴别器，使其认为天生器产生的数据是真实的。

鉴别器（Discriminator）：

鉴别器的任务是区分输入数据是来自真实数据集还是天生器天生的假数据。
它也是一个神经网络，吸收真实数据或天生数据作为输入，并输出一个概率值，表示输入数据为真实数据的可能性。
鉴别器通过最大化其可以或许正确分类真实数据和天生数据的本领来进步性能。

对抗过程：

天生器和鉴别器之间的对抗过程可以被看作是一个最小化最大化问题（minimax game）。
天生器试图最小化鉴别器正确分类的准确性，而鉴别器试图最大化其准确性。
通过这种对抗训练，天生器学习怎样天生越来越真实的数据，而鉴别器学习怎样更好地域分真假数据。

GAN的训练：

训练GAN通常涉及瓜代训练天生器和鉴别器。
首先，固定天生器的参数，训练鉴别器来区分真实数据和天生（假）数据。
然后，固定鉴别器的参数，训练天生器来天生可以或许诱骗鉴别器的数据。
这个过程重复进行，直到天生器天生的数据足够真实，大概达到预定的训练轮数。
鉴别器训练：
- 首先，从真实数据会合抽取一批真实样本。
- 使用天生器从随机噪声中天生一批假样本。
- 将真实样本和假样本混合在一起，并使用鉴别器进行分类。
- 根据鉴别器的分类效果，使用反向传播算法更新鉴别器的参数，以进步其区分真实和假样本的本领。
天生器训练：
- 从随机噪声中天生一批假样本。
- 使用鉴别器对这些假样本进行分类。
- 根据鉴别器的分类效果，使用反向传播算法更新天生器的参数，以进步其天生看起来像真实数据的样本的本领。

GAN与对抗样本结合

对抗训练，自己也是一种数据增强技能（比方视觉范畴模仿环境因素的数据增强：对图片进行仿射变换、光照调节、翻转、裁剪、注入噪声、随机擦除或滤波等），是为了增长ai模子面对恶意攻击的鲁棒性。
而在天生对抗网络（GAN）中，通过对抗的训练方式，天生器可以很好地模仿训练集的数据分布天生逼真的样本，将对抗样本参加原始数据集，这样通过对抗天生网络就可以对缺少的数据集进行补充，即数据增强。
GAN的训练，具体步骤如下：

初始化GAN：
- 首先，初始化GAN，包罗一个天生器（Generator）和一个鉴别器（Discriminator）。天生器的任务是天生数据，而鉴别器的任务是区分真实数据和天生器天生的数据。
训练鉴别器：
- 在训练的第一阶段，固定天生器的参数，使用真实的数据集和天生器天生的假数据来训练鉴别器。鉴别器学习怎样区分真实数据和假数据。
训练天生器：
- 在训练的第二阶段，固定鉴别器的参数，更新天生器的参数。天生器吸收随机噪声作为输入，并实验天生尽可能接近真实数据分布的数据，以便诱骗鉴别器。这一步可以通过反向传播算法来完成，目标是最大化鉴别器将天生数据误判为真实数据的概率。
瓜代训练：
- 重复步骤2和步骤3，天生器和鉴别器瓜代进行训练。这个过程可以被视为一个对抗过程，天生器试图天生更好的假数据，而鉴别器试图变得更擅长识别假数据。
天生对抗样本：
- 经过足够的训练轮次后，天生器应该可以或许天生高质量的对抗样本。这些样本在视觉上与真实数据相似，但实际上是经过精心设计的，以诱骗原始分类模子。
增强原始模子：
- 最后，将这些对抗样本参加到原始分类模子的训练会合。这样，原始模子在训练过程中不仅学习如那边理正常数据，还学习如那边理对抗样本，从而进步其对潜在对抗攻击的鲁棒性。

通过这种方式，GAN可以用来天生对抗样本，这些样本随后用于对抗训练，以增强原始分类模子的鲁棒性。必要注意的是，天生的对抗样本通常是为了特定类型的攻击而设计的，比方针对图像分类模子的FGSM（Fast Gradient Sign Method）攻击或PGD（Projected Gradient Descent）攻击。因此，天生器的设计和训练过程必要针对特定的攻击类型和目标模子进行调解。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)