ai安全——应试准备

一、ai模子安全

AI 模子安满是指 AI 模子面临的所有安全威胁，包罗 AI 模子在练习与运行阶段遭受到来自攻击者的功能破坏威胁，以及由于 AI 模子自身鲁棒性欠缺所引起的安全威胁。
1）练习完备性威胁，攻击者通过对练习数据进行修改，对模子注入隐藏的恶意行为。练习完备性威胁破坏了 AI 模子的完备性，该威胁主要包罗传统投毒攻击和后门攻击；
2）测试完备性威胁，攻击者通过对输入的测试样本进行恶意修改，从而到达欺骗 AI 模子的目的，测试完备性威胁主要为对抗样本攻击
3）鲁棒性欠缺威胁，该题目并非来自于恶意攻击，而是来源于 AI 模子布局复杂、缺乏可解释性，在面对复杂的现实场景时可能会产生不可预计的输出。
二、ai数据安全

数据安全题目是指 AI 技能所利用的练习、测试数据和模子参数数据被攻击者窃取。针对 AI 技能利用的数据，攻击者可以通过 AI 模子构建和利用过程中产生的信息在肯定程度上窃取 AI 模子的数据，主要通过两种方式来进行攻击：
1）基于模子的输出结果，模子的输出结果隐含着练习/测试数据的相关属性。
2）基于模子练习产生的梯度（参数），该题目主要存在于模子的分布式练习中，多个模子练习方之间交换的模子参数的梯度也可被用于窃取练习数据。
三、ai系统安全

承载 AI 技能的应用系统主要包罗 AI 技能利用的底子**物理设备和软件架构（pytorch等），**是 AI 模子中数据网络存储、执行算法、上线运行等所有功能的底子。

对抗样本攻击

研究者还发如今输入数据上添加少量经心构造的人类无法辨认的**“扰动”，可以使 AI 模子输堕落误的预测结果。这种添加扰动的输入数据通常被称为对抗样本（Adversarial Example）**。在许多安全相关的应用场景中，对抗样本攻击会引起严重的安全隐患。属于ai模子安全。
以主动驾驶为例，攻击者可以在路牌上粘贴对抗样本扰动图案，使得主动驾驶系统错误地将“停止”路牌辨认为“限速”路牌 。这类攻击可以成功地欺骗特斯拉等主动驾驶车辆中的路标辨认系统，使其作堕落误的驾驶决议判断，导致严重的交通变乱。
隐私泄露

研究者发现 AI 技能在利用过程中产生的计算信息可能会造成隐私数据泄露，例如攻击者可以在不打仗隐私数据的情况下利用模子输出结果、模子梯度更新等信息来间接获取用户隐私数据。在现实应用中，这类信息窃取威胁会导致严重的隐私泄露。属于ai数据安全。
例如：生物核身辨认模子**（如人脸辨认）返回的结果向量可以被用于练习生成模子**，从而恢复如用户头像等练习数据中的敏感信息（原始输入数据）。攻击者甚至还可以通过输出结果窃取 AI 模子的参数，对模子拥有者造成严重的经济损害。在这种情况下，攻击者可能利用模子的输出来练习另一个生成模子，这个生成模子旨在从结果向量中重建或近似原始的输入数据（如用户的头像）。这种攻击通常被称为模子逆向攻击（Model Inversion Attack）。
对抗样本与对抗练习

这里具体先容一下对抗样本相关的知识

• 对抗样本： 对抗样本是指经过微小、经心筹划的修改（通常是不可察觉的）的输入数据，旨在欺骗机器学习模子，使其做堕落误的预测。这些修改通常是通过在原始输入上添加人类难以察觉的噪声来实现的。对抗样本的存在展现了深度学习模子在某些方面的脆弱性，尤其是在图像辨认等领域。
  
• 对抗攻击： 对抗攻击是指利用对抗样本来攻击机器学习模子的过程。攻击者可能通过这种方法来规避或误导模子的行为，例如，在主动驾驶系统中，通过在路标上贴上对抗性贴纸，可能导致系统错误地辨认路标。研究对抗攻击有助于开发更安全的机器学习系统。
  
• 对抗防御： 对抗防御是指采取措施来保护机器学习模子免受对抗攻击的技能和方法。其中包罗对抗练习技能。
  
• 对抗练习： 对抗练习是一种进步机器学习模子鲁棒性的技能。它利用对抗攻击算法生成对抗样本对数据集进行补充，弥补模子薄弱的部分，从而增强模子面对恶意攻击时的****鲁棒性。对抗练习可以使模子在面对潜在的对抗攻击时更加稳固和可靠。
  

生成对抗网络（GAN）

生成器（Generator）：

• 生成器的任务是生成看起来像真实数据的新数据。
  
• 它通常是一个深度神经网络，输入是一个随机噪声向量（通常是从高斯分布中抽取的），输出是一个数据点（例如图像）。
  
• 生成器的目的是欺骗判别器，使其认为生成器产生的数据是真实的。
  

判别器（Discriminator）：

• 判别器的任务是区分输入数据是来自真实数据集照旧生成器生成的假数据。
  
• 它也是一个神经网络，接收真实数据或生成数据作为输入，并输出一个概率值，表示输入数据为真实数据的可能性。
  
• 判别器通过最大化其能够正确分类真实数据和生成数据的能力来进步性能。
  

对抗过程：

• 生成器和判别器之间的对抗过程可以被看作是一个最小化最大化题目（minimax game）。
  
• 生成器试图最小化判别器正确分类的正确性，而判别器试图最大化其正确性。
  
• 通过这种对抗练习，生成器学习如何生成越来越真实的数据，而判别器学习如何更好地域分真假数据。
  

GAN的练习：

• 练习GAN通常涉及交替练习生成器和判别器。
  
• 起首，固定生成器的参数，练习判别器来区分真实数据和生成（假）数据。
  
• 然后，固定判别器的参数，练习生成器来生成能够欺骗判别器的数据。
  
• 这个过程重复进行，直到生成器生成的数据足够真实，大概到达预定的练习轮数。
  
• 判别器练习：
  
  
  
  • 起首，从真实数据集中抽取一批真实样本。
    
  • 利用生成器从随机噪声中生成一批假样本。
    
  • 将真实样本和假样本混合在一起，并利用判别器进行分类。
    
  • 根据判别器的分类结果，利用反向传播算法更新判别器的参数，以进步其区分真实和假样本的能力。
    
  
  
• 生成器练习：
  
  
  
  • 从随机噪声中生成一批假样本。
    
  • 利用判别器对这些假样本进行分类。
    
  • 根据判别器的分类结果，利用反向传播算法更新生成器的参数，以进步其生成看起来像真实数据的样本的能力。
    
  
  

GAN与对抗样本结合

对抗练习，本身也是一种数据增强技能（例如视觉领域模拟情况因素的数据增强：对图片进行仿射变换、光照调节、翻转、裁剪、注入噪声、随机擦除或滤波等 ），是为了增长ai模子面对恶意攻击的鲁棒性。
而在生成对抗网络（GAN）中，通过对抗的练习方式，生成器可以很好地模拟练习集的数据分布生成传神的样本，将对抗样本加入原始数据集，这样通过对抗生成网络就可以对缺少的数据集进行补充，即数据增强。
GAN的练习，具体步骤如下：

• 初始化GAN：
  
  
  
  • 起首，初始化GAN，包罗一个生成器（Generator）和一个判别器（Discriminator）。生成器的任务是生成数据，而判别器的任务是区分真实数据和生成器生成的数据。
    
  
  
• 练习判别器：
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。