机器学习模型的漏洞、安全和隐私

黑客AI网络研讨会英雄

你能分辨出猫和鳄梨酱的区别吗? 这听起来像是一个拙劣笑话的铺垫, 但在讨论对抗例子(故意让机器出错的输入)如何影响机器学习时,这实际上是一个重要的考虑因素.

在十大彩票平台最近的一次网络研讨会上黑客AI:机器学习模型的安全和隐私,密码学教授Dan Boneh探讨了与机器学习管道漏洞相关的常见问题, 如何保护云中的机器学习数据, 以及保护训练数据隐私的技术.

糟糕. 看起来你已经关闭了javascript! 这意味着您无法在此页面上看到您可以使用的表单 十大彩票平台官网.

Boneh是联合学术主任 高级网络安全项目 十大彩票平台计算机科学和电气工程教授.

在他的演讲中,Boneh对该领域的一些最新研究进行了高层次的介绍. 以下是一些要点.

机器学习管道及其漏洞

有监督学习的机器学习管道有三个阶段:数据收集, 培训, 和推理. Boneh说,不幸的是,在管道的每个阶段都可能发生攻击. 他分享了一些在训练和推理阶段可能发生的恶意活动的实例.

培训的攻击

一个错误的条目可能会将模型引入歧途. Boneh举了一个例子,这个例子涉及一个被训练用来识别狗和鱼的图像的分类器. 在6个数据集中只添加一个图像的低音量噪声后,000张照片, 训练算法产生了一个错误的模型. 

推理攻击

对抗性的例子是为阻挠给定模型而构造的数据条目.Boneh说,在推理阶段有许多对抗式的例子可以影响一个给定的模型. 例如, 在一个模型被训练去识别猫之后, 一个对抗的例子可以通过添加噪声,如像素叠加到一个图像. 而视觉干扰可能对人类来说是察觉不到的, 它扭曲了图片,足以让模特认错猫...像鳄梨酱!

额外的实例包括:

  • 3d打印眼镜,让面部识别模型误以为佩戴者是布拉德·皮特
  • 少量看似随机的贴纸贴在一个标志上,让模特误以为停车标志是限速标志
  • 白噪音被语音助手误解为提供了打开特定网站的命令

因为模型学习的是真实概念的近似值,所以小的扰动可以产生大的影响. 当敌对的例子被创造出来, 它们帮助十大彩票平台确定十大彩票平台的模型实际上在学习什么,并照亮存在攻击漏洞的领域.

广告拦截是推理攻击的另一种类型. Boneh分享了一个尝试创建机器学习模型的例子,该模型可以执行感知广告拦截. 这个概念包括训练一个模型来观察网页的像素,并识别网页上的广告.

要阻止这一模型,只需在页面上覆盖一个透明的背景——人类观众看不到的背景, 但对机器模型来说是可见的. 通过这个简单的修改,模型不再能够识别广告.

另外, 有人建议,训练一个模型来识别广告的标识可以达到同样的预期结果. 然而,这一策略仍然容易出现类似的缺陷. 也可以创建对抗性的例子,以胜过识别AdChoices标识的模型.

巧妙的攻击需要巧妙的防御

Boneh解释说,这导致了一场创造防守技术的猫捉老鼠的游戏, 几乎同样快, 破碎的. 人们可以为特定的数据集设计有效的防御措施,以防止个人干扰. 然而,使用更普遍的策略往往不太成功.

因为综合防御很难建造, Boneh敦促观众总是调查给定的机器学习模型在对抗例子中做了什么.

如何保护云中的机器学习数据

有可能将大量机器学习数据存储在云中, 包括数十万张照片, 这就有可能出现攻击和漏洞. 如何保护他们? 如果您不信任云提供商怎么办?

Boneh分享了硬件飞地如何为数据提供保护, 甚至保护它不受提供商指定管理员的干扰. 不过,这种技术需要一些额外的支持. 图形处理单元(gpu)处于空闲状态,因为它们没有飞地. 你可以通过运行障碍赛来避免这个问题.

“如果你确实想在云中的一块飞地上运行工作, 仍然有一种方法可以使用gpu并获得性能提升,而不是在飞地内运行所有东西,”然后说.

如何保护培训资料的私隐

Boneh还概述了如何保护训练数据的隐私.

如果您想要训练一个模型,您如何确保底层数据保持私有? 选项包括:

  • 私人梯度下降
    This technique can achieve strong results for privacy; it requires a tradeoff in accuracy.
  • 使用手工制作的特性
    “简单, 使用线性模型手工制作的特征可以击败需要隐私的深度神经网络,”然后说.
  • 私人深度学习
    “结果是, 如果你有足够的数据, 最终是深层神经网络, 与隐私, 真的能打败手工制作的功能吗,”然后再继续说.
  • 从公共数据开始
    使用迁移学习,您可以从使用公共数据来训练特征开始. 然后,转移到私有数据,减少梯度下降过程中的步骤数.

在问&这是网络研讨会的一部分, Boneh回答了十大彩票平台官网使用机器学习分析恶意软件的问题, 在自然语言处理和识别扰动的训练模型的难度方面,对抗性的例子是如何发挥作用的.

看一看 的网络研讨会 对这些主题进行更深入的十大彩票平台. 如果你有兴趣了解更多最新的网络安全问题及其解决方案, 考虑报名参加十大彩票平台的 网络安全课程.