一、可解释性为什么重要
人工智能领域的几乎所有研究都集中在更好的架构、超越基准、新颖的学习技术上，或者在某些情况下只是建立具有十亿、百亿个参数的巨大模型。可解释机器学习的研究相对较少。媒体中人工智能的日益普及和复杂性只会使可解释性的情况恶化。
在一些高风险领域，如金融和医疗保健，数据科学家通常最终使用更传统的机器学习模型（线性模型或基于树的模型或者模型等）。这是因为，模型解释其决策的能力对业务非常重要。例如，如果您的模型拒绝了一个人的贷款申请，那么您就无法通过不知道哪些因素促成了模型做出的决策而逃脱。尽管简单的 ML 模型的性能不如神经网络等更复杂的对应模型，但它们本质上是可解释的，并且更加透明。决策树可以轻松可视化，以了解在哪些级别使用了哪些特征来做出决策。它们还带有特征重要性属性，该属性告知哪些特征在模型中贡献最大。
人类的好奇心和学习 - 人类物种天生好奇。当某些事情与他们先前的信念相矛盾时，人类会特别寻找解释。互联网上的人可能会好奇为什么推荐某些产品和电影。为了解决这种与生俱来的愿望，公司已经开始解释他们的建议。
建立信任 - 当您将 ML 产品出售给潜在买家时，他们为什么要信任您的模型？他们如何知道该模型在任何情况下都会产生良好的结果？需要可解释性来提高社会对我们日常生活中ML模型的接受度。同样，与个人家庭助理互动的消费者也想知道某个行为背后的原因。解释有助于我们理解和同情机器。
调试和检测偏差 - 当您尝试推理意外结果或发现模型中的错误时，可解释性变得非常有用。最近，ML模型也因偏向某些种族和性别而受到关注&#x