【论文学习】机器学习模型安全与隐私研究综述

news/2024/2/21 2:55:31

机器学习在数据层模型层以及应用层面临的安全和隐私威胁,呈现出多样性、隐蔽性和动态演化的特点。
应用领域:计算机视觉、自然语言处理、语音识别等
应用场景:自动驾驶、人脸识别、智慧医疗等
Key words: machine learning; poisoning attack; adversarial example; model privacy; artificial intelligence security

引言

机器学习模型在生命周期的各个阶段都可能面临着不同程度的安全风险,导致模型无法提供正常的服务或者是泄露模型的隐私信息。例如,攻击者可能对模型的训练数据和输入样本进行恶意篡改或是窃取模型参数,从而破坏模型的机密性、可用性和完整性,这就是机器学习模型面临的安全与隐私问题。

机器学习的CIA模型

机器学习模型安全需求总结为三个特性:机密性(Confidentiality)、完整性(Integrity)和可用性
(Availability),即机器学习中的 CIA 模型。
机器学习的 CIA 三个特性都有可能被攻击破坏,所对应的攻击方法分别称为机密性攻击完整性攻击可用性攻击

数据安全风险与保护

攻击者通过将精心制作的样本插入训练集中来操纵训练数据分布,以达到改变模型行为和降低模型性能的目的,这种类型的攻击被称为“数据投毒”(Data Poisoning)攻击。

投毒攻击

后门攻击(Backdoor Attack)
木马攻击(Trojan Attack)

防御方法

大多数针对投毒攻击的防御机制依赖于一个事实(前提),即投毒样本通常在预期输入分布之外。因此可以将投毒样本视为异常值,可以使用数据清理(即攻击检测和删除)和鲁棒学习(即基于对边远训练样本本质上不太敏感的鲁棒统计的学习算法)来净化训练样本。
鲁棒学习:基于主成分分析(Principal Component Analysis,PCA)的投毒攻击检测模型
数据清理:掩蔽特征(Masked Features)、DUTI
后门攻击检测:激活聚类(Activation Clustering,AC)

模型安全风险与保护

攻击者试图通过各种方法改变模型输入特征以绕过现实任务中的机器学习模型的检测,或直接对模型进行攻击以破坏其完整性,从而达到对抗的目的。
其中,攻击者最常用的攻击手段是通过向正常样例中添加精心设计的、人类无法感知的噪音来构造对抗性样例,这种攻击方法称为“对抗攻击”或者是“对抗样例攻击”。
与其他攻击不同,对抗性攻击的核心在于如何构造能促使机器学习模型产生误分类的对抗样例,因此主要攻击过程发生在对抗样例构造阶段。在对抗样例的构造过程中,根据攻击者所获取的目标模型具体信息多少分为白盒对抗攻击黑盒对抗攻击

白盒攻击(计算机视觉领域)

基于优化:EAD
基于梯度:FGSM、I-FGSM、PGD、JSMA
基于分类超平面:Deepfool算法、对抗扰动(Universal Adversarial Perturbation,UAP)
基于生成模型:对抗性转换网络(Adversarial Transformation Network,ATN)、条件生成模型(Conditional Generative Models)、GAN(Generative Adversarial Network)
对抗补丁:对抗补丁(Adversarial Patch)、PS-GAN
其他:空域变换
物理世界的实际攻击:变换期望算法(Expectation Over Transformation,EOT)、 R P 2 RP_2 RP2(Robust Physical Perturbations)

黑盒攻击(计算机视觉领域)

基于迁移性的方法:蓄水池算法(Reservoir Sampling)
基于梯度估计的方法:基于零阶优化的有限差分算法ZOO
基于决策的攻击方法:边界攻击(Boundary Attack)
基于采样的方法:NES


https://www.xjx100.cn/news/3118744.html

相关文章

后端Java日常实习生面试(七牛云2023年11月14日)

面试岗位为:Java 后端开发实习生 面试时长:60分钟 面试时间:2023年11月14日 首先做一下简单的自我介绍吧面试官说先来说一下 Java 基础吧 多态了解吗?(了解,一个行为有不同的表现形式) 知道…

ffmpeg 把mp4文件中某段视频转成gif文件

一 缘起背景: 有视频文件转gif动图的需求;网上下载的转换工具需要注册会员、否则带水印,还限制时长。 二 工具环境: win10 下 dos 操作 ffmpeg 三 操作命令: ffmpeg -i test.mp4 -ss 00:01:01 -t 00:00:19 -vf &q…

版本控制系统Git学习笔记-Git基本知识介绍

目录 前言一、版本控制系统1.1 什么是版本控制系统1.2 本地版本控制系统1.3 集中化的版本控制系统1.3 分布式版本控制系统 二、Git简介2.1 数据处理方式2.2 几个特点2.2.1 几乎所有操作都是本地执行2.2.2 Git保证完整性2.2.3 Git一般只添加数据 2.3 Git中文件状态2.3.1 三种文件…

orvibo旗下的VS30ZW网关分析之一

概述 从官网的APP支持的智能中枢来看,一共就两种大类: MixPad系列和网关系列 排除MixPad带屏网关外,剩余的设备如下图: 目前在市场上这四种网关已经下市,官方已经宣布停产。所以市场上流通的也几乎绝迹。 从闲鱼市场上可以淘到几个,拿来分析一下,这里我手头有如下的两…

大数据Hadoop-HDFS_架构、读写流程

大数据Hadoop-HDFS 基本系统架构 HDFS架构包含三个部分:NameNode,DataNode,Client。 NameNode:NameNode用于存储、生成文件系统的元数据。运行一个实例。 DataNode:DataNode用于存储实际的数据,将自己管理…

Linux下各种字符编码进行转码

支持各种编码相互转换 具体 iconv --list 可以查看 支持的转码格式 1.代码实现 #include <iostream> #include <iconv.h> #include <cstring>int iconv_convert(const char *inCharset, const char *outCharset, char *inbuf, unsigned int inlen, char *o…

聚焦清晰度评价指标所用到的各种算法

首先&#xff0c;我想吐槽一下&#xff0c;看了好几篇聚焦评价函数的文章&#xff0c;说到底都是一篇文章转载或者重复上传&#xff0c;介绍了将近 15 种清晰度的算法&#xff0c;原文找了半天都没找到在哪&#xff0c;最多也仅能找到一些比较早的转载。 无参考图像的清晰度评…

Camunda 7.x 系列【58】自定义表单设计器

有道无术,术尚可求,有术无道,止于术。 本系列Spring Boot 版本 2.7.9 本系列Camunda 版本 7.19.0 源码地址:https://gitee.com/pearl-organization/camunda-study-demo 文章目录 1. 前言2.表单设计器3. 案例演示3.1 引入流程设计器3.2 表单数据存储3.3 测试1. 前言 Camu…