人工智能（AI）是一套让机器能够智能地行事的技术，甚至可能比人类更好。人工智能已经离开了研究实验室，并且已经在改变我们生活的方方面面：沟通、娱乐、工作、做生意的方式，甚至生活和思考方式。通过人工智能系统的自动化可以带来巨大的经济和社会效益，甚至有希望帮助解决全球挑战。而这一切才刚刚开始，随着人工智能的采用越来越多，也带来了犯错的风险。
权力越大，责任越大
当我们大规模应用人工智能时，我们需要确保我们推广可靠、稳健和值得信赖的解决方案。既然这一直是我们构建软件系统的首要目标，现在有什么不同呢？人工智能与传统软件的不同之处在于它不会收到关于做什么的明确指示；相反地，它通过巧妙地推导算法，从过去的数据中发现具有统计学意义的模式。换句话说，数据决定了人工智能系统的行为方式。
这种预测性人工智使我们能够创建更强大的应用程序。现在我们正在向人工智能系统提出新的问题，但我们的问题有时是主观的、有争议的，或者没有唯一正确答案的。当它们是低风险时，它所提供的答案是概率性的，例如 "你很可能会喜欢这些电影"，即使它们失误，也不是灾难性的。相反，当结果涉及我们的健康、法律、自动驾驶等时，误差率是很有影响的。技术人员应该谨慎地应用人工智能。在没有监督的情况下，我们不能直接将人类和道德困境转移给机器。那么，人工智能系统及其依赖的数据的安全性和可信度如何？
伦理问题
由于人工智能系统严重依赖数据，我们必须谨慎地确保我们一直向它提供高质量和无偏见的数据。以下是一些真实案例：
新员工的筛选流程通常包括人工智能系统，旨在提供一种简化的、无偏见的方法来筛选资格并缩小候选人的范围。亚马逊一直在使用这种人工智能系统，但后来发现它对女性有偏见。该系统自我学习，认为男性候选人更适合做技术工作。
不恰当或不清晰的数据标签或不平衡的数据有时会导致不利的算法结果。原始数据经过筛选和标记，为训练机器学习模型提供有意义的上下文。ImageNet 是一个拥有数百万张图片的图像数据库，可供研究和教育使用。负责识别鸟、车或花照片的程序员发现其引入了不必要的偏见。例如，一张年轻男子喝啤酒的照片被归类为“酗酒者”。此外，ImageNet 的用户发现该数据库在性别和肤色方面也存在不平衡。
在美国的医疗保健行业，一种算法可以帮助医院和保险公司确定哪些病人可能受益于额外的 "高风险护理管理" 计划。该算法被发现对黑人患者不公正。主要原因是用于训练它的输入参数之一是病人过去的医疗支出。后来证明，评估过去的医疗费用对未来健康恶化的预测完全没有影响。
这些例子表明，伦理问题可能来自各种不同的来源。随着人工智能被大规模地应用于解决关键问题，我们需要注意不要放大偏见。以上这些例子中的问题虽然都是无恶意的，而且都已经被解决了，但是它们已经扭曲了原本精心创建的算法的结果。
可解释的人工智能
可解释的人工智能是一个关于机器学习（ML）可解释性技术的研究领域，旨在理解机器学习模型的预测，并以人类可理解的术语进行解释，以建立与利益相关者的信任。可解释的人工智能是更广泛的、以人为本的负责任人工智能实践的关键部分。可解读的解释为监管机构提供了可信的元数据，以便将意外的预测溯源，为纠正行动提供依据。
如何确定我们的机器学习系统正在做出正确的决定？通常，我们将机器学习系统看作一个黑盒子，软件变得更加强大和复杂，但却不那么透明。
安全和隐私
机器学习系统不仅容易受到已知的软件威胁，还会引入一组全新的攻击向量。“对抗性机器学习”一词是为了描述误导机器学习系统的恶意行为而创造的。所谓的对抗性样本可能会误导人工智能系统并导致危险情况。攻击者可以使分类器将一个稍加修改的物理停车标志解读为“限速45英里”标志。这种干扰可能是一组黑白贴纸，对手可以将其附着在物理道路标志或模仿涂鸦上。
资料来源：康奈尔大学
在另一个例子中，眼镜框被用来冒充名人，这表明有可能出现物理上可实现的攻击，以冒充身份或逃避人脸识别系统。社交平台使用人工智能来禁止上传含有暴力的视频或图片。通过使用对抗性攻击，用户可以克服这些限制。
资料来源：ACM 数字图书馆
开源软件：社区、协作、公共知识库
一旦面临新的挑战，就需要设计解决方案了。一种可能的做法是，任何公司都将人工智能纳入其产品线或内部工具，以独立处理这些问题。这样做的好处是可以为专有市场创建定制解决方案，并在较小的规模上运行良好。但实现一个值得信赖的人工智能是一项艰巨的任务，开源软件社区通过构建和共享公共知识库提供协作，大大增加了成功的机会。事实上，使用最广泛的机器学习框架都是开源项目，社区的需求进一步推动了它们的发展。TensorFlow、PyTorch 和 Kubeflow 是其中几个活跃的项目。
探索开源项目的地图
如何在众多现有的项目和生态系统中找到自己的方向？与其他软件一样，开源软件也需要治理。Linux 基金会人工智能与数据部（LF AI & Data）就是这样一个组织，它主持并促进与 AI 相关的开源项目的合作开发。除跟踪托管的项目外，LF AI & Data 还维护着一个值得关注的 AI 项目的交互式全景图，这些项目被归为几个大的类别。只要项目满足基本标准，都可以请求将项目作为交互式地图的一部分。
一个更小的类别是可信和负责任的人工智能。它包括了 “可解释性”、“偏见和公平”、“对抗性” 这三个子类别中最受欢迎的开源项目的概述，来对应上述的主要挑战。根据你所遵循的原则，你可以比较并选择最适合需求的开源项目。除了项目的技术能力外，你还可以依靠贡献者的数量、最近的提交和版本发布，以及项目的许可证等指标来评估项目的健康状况。
迈向未来
人工智能系统带来了无数的新挑战。与构建、部署和维护机器学习模型有关的问题产生了一门名为 MLOps（机器学习操作）的新学科。各种新的安全漏洞创造了人工智能系统，也对道德、信任和责任提出了新问题。随着机器学习系统变得更加强大、复杂，但透明度降低，对 “可解释性” 的需求增加，这意味着存在协作、研究和探索的新机会，以推动复杂问题的解决。我们期待步入这个人工智能驱动技术的新时代。
Diana Atanasova 是 VMWare 开源技术中心的 ML 开源工程师，拥有索菲亚技术大学应用数学和信息学硕士学位。她正在为 Kubeflow - ML 工作流框架做出贡献，并对人工智能安全感兴趣。
Teodora Sechkova 是 VMware 开源技术中心的开源软件工程师。她目前是 The Update Framework (TUF) 的积极贡献者--这是一个保护软件安全的框架。
原著丨Diana Atanasova，Teodora Sechkova
翻译丨刘天栋
转载自丨开源雨林
编辑丨李佳阳
相关阅读 | Related Reading
社创机构协作类IT软件使用情况调研表发布！
嘉宾阵容公布，开源社邀请您参加 Impact Tech, She Can 2023
开源社简介
开源社成立于 2014 年，是由志愿贡献于开源事业的个人成员，依 “贡献、共识、共治” 原则所组成，始终维持厂商中立、公益、非营利的特点，是最早以 “开源治理、国际接轨、社区发展、项目孵化” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作，以 “立足中国、贡献全球” 为愿景，旨在共创健康可持续发展的开源生态，推动中国开源社区成为全球开源体系的积极参与及贡献者。
2017 年，开源社转型为完全由个人成员组成，参照 ASF 等国际顶级开源基金会的治理模式运作。近九年来，链接了数万名开源人，集聚了上千名社区成员及志愿者、海内外数百位讲师，合作了数百家赞助、媒体、社区伙伴。
