可解释性机器学习task01-预备知识

可解释性机器学习task01-预备知识

什么是可解释人工智能?

• 
• 现代机器学习是统计机器学习尤其是深度学习,使用数据拟合数据分布和决策边间,有着高维非凸,决策时是一个黑箱
• 一些灵魂之问
  • AI的脑回路是怎样的? Al如何做出决策?是否符合人类的直觉和常识?
  • AI会重点关注哪些特征，这些特征是不是真的有用?
  • 如何衡量不同特征对Al预测结果的不同贡献?
  • AI什么时候work，什么时候不work ?
  • AI有没有过拟合?泛化能力如何?
  • 会不会被黑客误导，让AI指鹿为马?
    • 对抗样本
  • 如果样本的某个特征变大，会对Al预测结果产生什么影响?
  • 如果Al误判，为什么会犯错?如何能不犯错?
  • 两个Al预测结果不同，该信哪一个?
  • 能让Al把学到的特征教给人类吗?
• AI在AIGC领域任然会存在着一些问题
  • 说明其并没有正真学到这部分的知识
  • 一个黑箱,容易犯错
• 在一些关键邻域比如自动驾驶领域,如何让人类相信黑箱算法
• 可解释学习就是打开黑箱学习的研究

为什么要学

同济子豪兄选题建议

• 可解释性学习可以和AI的各个方向进行交叉
  • data mining,NLP,RL,KG,联邦学习
  • CV
    • 比如目标检测的识别依据
  • NLP
    • 文本分类的决策单词/字
  • 推荐系统
    • 推荐的背后依据
• 通用的研究方法
• 具体的task的结合
  • 大模型、弱监督、缺陷异常检测、细粒度分类、决策
    AI和强化学习、图神经网络、Al纠偏、Al4Science、 Machine
    Teaching、对抗样本、可信计算、联邦学习。
• 写paper可以结合某个可解释的算法分析细分领域的任务
  • [ 基于声成像与卷积神经网络的轴承故障诊断方法及其可解释性研究](https://kns.cnki.net/kns8/Detail?sfield=fn&QueryID=10&CurRec=4&DbCode= CJFD&dbname=CJFDLAST2022&filename=ZDCJ202216029&urlid=&yx=)
  • [雷达图像深度学习模型的可解释性研究与探索](https://kns.cnki.net/kns8/Detail?sfield=fn&QueryID=10&CurRec=7&DbCode= CAPJ&dbname=CAPJLAST&filename=PZKX20220613003&urlid=11.5846.TP.20220613.0913.008&yx=Y)

可解释性的一些交叉研究方向

Machine Teaching

• 通过AI教人类学习

• eg.Making a Bird AI Expert Work for You and Me

  • 通过AI教会人类判别鸟类
  • human-centered-ai

• eg.神经网络教人类预测工艺参数

细粒度图像分类

• 对于细粒度的分类,大类下会有各种小类,人比较难分类,使用AI可以较好的分类
• 医疗图像分类给出决策的热力图
  • kaggle:SIIM-ACR Pneumothorax Segmentation
  • 
  • bg:辅助医疗,教学
• 工业的缺陷检测
  • 工业界的高质量标注的较少
  • 通过只训练一个分类模型能够由可解释性定位出缺陷位置(检测/分割)
• 生物信息
  • 蛋白质
  • 基因研究
• 物体分类
• 建筑

AI安全/对抗样本

前沿AI方向

• chatGPT
  • 完全黑箱,适合做可解释分析
• AIGC
  • stable diffusion等画图
• 大模型
• 蛋白质
  • alphaFold

本身具有可解释性的学习

• KNN
  • 
• 逻辑回归
  • 输入特征可以理解,权重直观反映了那个特征的决策重要性
  • 
• 线性回归
• 决策树
  • 用if else决策
• 朴素贝叶斯

一些可解释性分析方法

• 算法自带的可视化
• 决策树
• 算法自带的特征权重
  • 逻辑回归
  • 随机森林
  • lgb
• Permutation Importance置 换重要度
  • 将某一列特征随机打乱,如果对模型性影响较大则说明重要性大
  • sklearn demo
• PDP图、ICE图
  • sklearn demo
  • 
• Shapley值
  • 库官方github
  • 可以用来解释树模型
  • 深度学习模型
    • 
  • 与模型无关(Model agnostic)的解释
  • paper
• Lime
  • paper
  • 
  • 在预测的周围局部建立可解释模型,同时展示有代表性的样本,将任务建模成一个子模块的优化任务

可解释性与模型性能

• 传统机器学习算法普遍可解释性好,但是预测效果稍差
• 神经网络的预测效果最好,但是可解释性最弱
• 性能和可解释性如何trade off ^1,2

可解释算法分类

• 
• todo

深度学习的可解释性分析

• 神经网络由一层层layer组成,层次越高对应的高维特征也就越抽象,人类难以直接理解
• 所以需要相关的可解释性算法
• eg.手写数组识别的特征图
  • 
  • playground

CNN的可解释性分析

• 可视化卷积核/特征图
  • CS231N可视化
• ZF Net
  • 介绍了一种新的可视化技术，可以深入了解中间特征层的功能和分类器的操作
  • 通过 遮挡、缩放、平移、旋转的间接方法对预测的影响来理解CNN
  • 利用反卷积找到使得某个神经元激活的pixel或小图
• RCNN
  • 从神经元激活找原始小图
  • 原文figure3,实验3.1
    • 
  • 作者从第五层pooling的神经元进行了可视化,白框是感受野以及激活值
  • 可以看到,有一些神经元捕捉到了特定的概念,比如第一行的人,第四行的字
• 有些神经元捕捉纹理和材质
• 基于CAM的可视化
  • 一大类算法,有各种基于原始CAM的改进算法
  • 构建了一个通用的可定位的深度表示，可以应用于各种任务
  • torch-cam
  • 
  • CAM对图像分割可视化的例子
  • 错误预测的解释
    • 
  • 探究模型是不是有偏见
    • 
    • (b)是带有偏见的模型,根据头发判断是护士,会把头发(性别)当做判断护士的特征,有悖伦理
• 语义降维可视化
  • 
  • 通过对高维样本特征降维到低维进行可视化,该分布和语义相关
  • eg.word2vec的词向量表示,降维后发现含义相近的在空间中分布靠近
    • cs224N
    • 
    • 降维算法
      • PCA
      • TSNE
      • UMAP
• 生成满足需求的图像
  • 通过优化样本使得的图像满足一定的需求,比如某个神经元激活最大或者某个类别预测最大
  • 应用场景:对抗样本攻击
    • FGSM etc.
    • 通过不断迭代样本,同时施加约束(最小扰动),使得模型误判

总结与扩展阅读

• 方法对比
  • 
• 对比
  • 
  • 
• 张子豪codebase
• pytorch-cnn-visualizations
• pytorch-grad-cam
• torch-cam
• 相关论文
  • Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
  • Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
  • “Why Should I Trust You?”: Explaining the Predictions of Any Classifier
  • Visualizing and Understanding Convolutional Networks
  • Show and tell: A neural image caption generator
  • LayerCAM: Exploring Hierarchical Class Activation Maps for Localization
  • Learning Deep Features for Discriminative Localization
  • Grad-CAM++: Generalized Gradient-Based Visual Explanations for Deep Convolutional Networks
  • Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization
• OpenMMLab 类别激活热力图可视化工具介绍
• DataWhale 6个机器学习可解释性框架！

思考题

Reference

todo