机器学习
一、可解释性的机器学习
为什么我们需要可解释的ML？
法律要求贷款发放者解释他们的模式。医学诊断模式对人类生命负责。
会不会是黑匣子？
如果在法庭上使用模型，我们必须确保模型的行为不带有歧视性。如果自动驾驶汽车突然表现异常，我们需要解释原因。
我们可以改进基于解释的ML模型。
可解释的v.s .功能强大
有些模型在本质上是可以解释的。例如，线性模型(从权重，你知道特征的重要性)但不是很厉害。
深层网络难以解释。深层网络是黑盒…但是比线性模型更强大。
有没有一些模型同时具有可解释性和强大的功能？决策树怎么样？
1、目标
完全了解ML模型是如何工作的？我们并不完全知道大脑是如何工作的！但是我们相信人类的决定！
有理由的时候接收的更快：
两类可解释学习：
判断那个组件是决定性的：
挡住一部分图片之后，是否还能识别：
一个实例的损失e(模型输出和实际情况之间的差异)，改变某个像素（+x），他们的比值相当于微分，比值组成的图就是saliency map，越白色比值越大，这个像素越重要。
但是它会把重点放在奇怪的地方：
限制:噪音梯度
SmoothGrad:在输入图像中随机加入噪声，得到含噪图像的显著图，并进行平均。
输入声音特征(MFCC)
机器能分辨同一句话不同人说。
attention有解释力。
probing
分类器的强度要注意，可能会训练坏。
F1越大，表示图片特征越重要。
最终输出看到的数字：
机器可以分辨，但是人眼不行。
怎么看出是数字呢？加上一些限制
寻找X变成找z
用简单的模型模范复杂的NN模型：使用可解释的模型来模拟不可解释的模型的行为。然后分析简单模型。但是LM能力有限，只能解读一小段区域。
二、attacks in NLP
图片和语音是连续的：
文字是离散的：
为了将这些token输入模型，我们需要将每个token映射到一个连续的向量中
文本的离散性使得NLP中的攻击与CV或语音处理中的攻击非常不同
1、evasion attacks规避攻击
计算机视觉中的规避攻击
在图像上添加察觉不到的噪声会改变模型的预测（判断错误）
对于一项任务，修改输入，使模型的预测出错，而修改后的输入和原始输入不应改变对人类的预测
规避攻击:四个要素
1.目标:攻击的目的是什么
2.转换:如何为可能的对手构建扰动
3.约束:一个有效的对立例子应该满足什么
4.搜索方法:如何从满足约束和目标的转换中找到一个对立的例子
目标
untargeted classification:使模型对输入进行错误分类
targeted classification:将具有A类基本事实的样本分类到另一个B类
通用后缀删除器Universal suffix dropper:让翻译的句子删除一些后缀
transformations
如何扰乱文本来构建可能的对手
通过WordNet同义词进行单词替换
通过kNN或E-ball在counter-fitted glove embedding 空间中进行单词替换
反向匹配嵌入空间:使用语言约束拉近同义词，远离反义词
通过BERT掩蔽语言模型(MLM)预测进行单词替换
但是意思会差很多！
可以通过BERT重构进行单词替换(无屏蔽)
通过改变动词、名词和形容词的inflectional形式进行单词替换
inflectional语素:词缀从不改变一个词的基本意思，是词性(POS)的指示/特征。
通过单词嵌入的梯度进行单词替换
这样会影响语义。
