开篇的故事发生在印度孟买，一个当地家庭参与了一项由
深度学习赋能的智能保险计划。为了改善这家人的生活，该计
划的AI保险程序通过一系列的生活应用与这家的每位成员相
连，这些应用与保险算法进行动态互动。然而，这家正值青春
期的女儿却发现，这套AI保险程序似乎总是在“巧妙”地阻挠
她追求爱情。
在本章故事后的解读部分，我将介绍AI和深度学习的基础
知识，阐述其利弊优劣。通过这个故事，我会进一步解释AI的
运作方式，以及为何AI在一门心思地试图优化某些目标时，却
可能“无意”中导致后果惨重的多米诺骨牌效应。同时，我会
谈一谈当一家企业拥有太多用户数据时，可能带来什么样的风
险。考虑到有些读者对AI较为陌生，我在本章的解读部分增加
了“AI简史”，探讨为什么有些人对AI翘首以盼，而有些人对
AI持半信半疑的保留态度，以及AI让人欢喜让人忧的几大议
题。
自己的命运虽不完美，也好过完美模仿他人的命运。
——《薄伽梵歌》第三章第35节
屏幕上，随着西塔琴的节奏，三层楼高的象头神塑像缓缓
沉入阿拉伯海。可溶解性材料会在海水中化成金色和紫红色的
泡沫，沾在焦伯蒂海滩上数千个庆祝节日最后一天的孟买信徒
身上，像是某种祝福。
爷爷和奶奶高兴地拍起手唱起歌，弟弟洛汗大口嚼着木薯
条，喝着无糖可乐，食物残渣随着他的摇头晃脑撒了一地。医
生要求洛汗严格控制脂肪和糖分的摄入，尽管他只有8岁。在厨
房里忙活的父亲桑贾伊和母亲丽娅也敲打着厨具合唱起来，就
像宝莱坞电影里会出现的桥段。
纳亚娜却对此熟视无睹。此刻，这个10年级女孩全副心思
都在一款最近在年轻人中很火的智能应用“叶占”（Leafate）
上，据说它能够以问答的方式进行AI占卜。
相传数千年前，一位叫阿加斯蒂亚（ Agastya）的印度圣
哲，在棕榈叶上以梵文古诗刻下每个人的前世、今生与来世，
以及天文科学、医疗知识与哲学智慧。13世纪时，这些叶子在
印度南部的泰米尔纳德邦被发掘出土，英国殖民者将许多刻有
天文与药草知识的叶子带回欧洲，而那些写着每个人命运的纳
迪(1)叶则被卖掉。幸而当地学者与占星世家将这些纳迪叶视为
传家之宝，悉心保存，才得以流传至今。
每个人都可以通过提供出生时间以及指纹来寻找属于自己
的纳迪叶，但因为战乱、遗失、保存不当等原因，只有一部分
人能找到属于自己的纳迪叶。2025年，来自英国的一家科技公
司花巨资对民间流传的纳迪叶进行扫描，并使用AI对上面的信
息进行深度学习、自动翻译及结构化处理，试图为每一个人模
拟出一片近似的纳迪叶。毕竟这颗星球上有近87亿人口。
按照叶占的说法，每个人的数字纳迪叶都被存储在云端，
只有通过问答形式，才能解锁想要咨询的信息，不同问题的价
格也不尽相同。
今天纳亚娜想问的问题是：“我和新来的插班生萨赫杰，
有没有可能发展成情侣？”
当萨赫杰的视频流被推到虚拟课堂界面中央时，纳亚娜一
下子被吸引住了。这个男孩没有用美颜滤镜或虚拟背景，显得
羞涩而真实。他介绍了身后墙上挂的手工面具，这些面具结合
了印度神灵和超级英雄的特点，用色大胆，可以看出制作者的
确才华横溢。
纳亚娜发觉在“享聊”（Sharechat）的私密聊天群里，其
他女生也在讨论萨赫杰。从家居布置和经过隐私保护处理的姓
氏，讨论他究竟是不是所谓的“15%”，也就是政府要求私立学
校必须为其保留15%入学名额的“弱势群体”的孩子，学校需要
为他们免除学杂费，他们的书本和校服也都得靠捐赠。所谓
“弱势群体”，不过是一个对于曾经的“达利特”更具保护性
的代称。
她从一些纪录片和书本里看到过，种姓制度可以追溯到几
千年前，是一种基于印度教教义的社会和宗教等级制度。传统
上，一个人的种姓在出生之时便已确定，并且一个人的种姓将
影响他的职业、教育、婚姻及生活方式。按传统定义，达利特
在四大种姓之外，又称“贱民”，是“不可接触者”，他们通
常从事最肮脏的工作——徒手清洁下水道、处理动物死尸、鞣
制皮革以及一些被认为会“污染”其他印度教徒的事情。
根据1950年的印度宪法，种姓歧视是非法的，但在很长一
段时间里，达利特从饮水、用餐、居住的社区到死后埋葬的墓
地，都与其他更上等的种姓人群区隔开。他们担心会造成种姓
“污染”，这似乎已经成为一种集体无意识的心理烙印。一些
原先属于上等种姓的人会拒绝从达利特手里接过食物，甚至拒
绝在同一个空间共处，哪怕双方是同学或者同事。
印度政府努力纠正这种历史上形成的不公正现象，试图为
达利特提供更公平的竞争环境。早在1950年的宪法中，印度政
府就以“表列种姓”“表列部落”的方式，制定了为达利特人
提供政府和企事业单位职员名额、高等学校入学名额以及立法
机构的议员名额等方面的“保留政策”（Reservation
Policy）。从2010年开始，当局又进一步宣布为达利特在政府
职员名额和高等学校入学名额中保留15%的配额。不少家长抱
怨，为什么不按真实成绩录取？为什么我们需要为历史的过错
买单？难道这不是在变相鼓励一种新的不平等吗？
但总体上，种姓制度已经成为历史。2亿曾经的达利特已通
过各种方式融入印度的主流社会，难以从表面上看出身份的痕
迹，印度政府也在大力推行对贫民窟的改造，提高弱势群体的
生活水平。一切似乎都在变得更公平、更美好。
聊天室里的女孩们讨论得很热烈：如果萨赫杰真的是15%，
还要不要跟他约会？
你们这些势利眼。纳亚娜心里暗暗咒骂。她有一个远大的
梦想，她想成为一名表演艺术家，而不是肤浅的娱乐明星。所
有伟大的艺术家都必须真实地面对自己的内心感受，不被世俗
眼光所左右。如果她喜欢萨赫杰，那么就是喜欢，无论他是什
么出身，住在哪个社区，说的印地语是否带有浓重的泰米尔口
音。
经过计算，叶占给出一个令人失望的答案——“很遗憾，
由于所提供信息不足，您的问题暂时无法得到解答。”紧接
着，是退款成功的金币撞击声效。
骗子！信息不足又不是我的错！
纳亚娜愤怒地抬起头，发现母亲已经把饭菜都准备好了。
除了传统的印度节日食物，还叫了昂贵的中华料理外卖，这对
于一向抠门的父亲来说可不太寻常。不仅如此，母亲还穿上了
她最珍视的帕西式真丝纱丽，盘了头发，戴上了全套首饰。上
次这么隆重，也许还是在她和父亲结婚的时候。爷爷和奶奶也
比平时要高兴几分，甚至胖子洛汗也没有一直讨厌地缠着她问
东问西。
这一切肯定不是因为象神节的缘故。
“发生了什么？”纳亚娜看着桌上的一切，没头没脑地
问。
“什么叫发生了什么？”母亲反问她。
“只有我一个人觉得你们和平常不太一样吗？”
和父亲相视一笑后，母亲说道：“说说看，哪里不一样
了？”
“你们在笑，你们有什么事情瞒着我？”纳亚娜变得有点
神经质。
“乖宝贝们，先开饭吧。”奶奶开始动手掰面包。
“等等，难道是……爸爸升职了？我们家中彩票了？政府
减税了？”
“你倒想得美。”父亲摇晃着脑袋，“想减税只能等下届
选举了。多亏你能干的妈妈……”
“妈，你又买了什么？”纳亚娜不等父亲把话说完，便转
向得意的母亲。
“喂，你这口气听起来有点不尊重长辈呢。”
“上次贪小便宜上当的人又不是我……”纳亚娜的声音小
了下去。
“这次不一样。我做了充分的调查，它有IRDAI（印度保险
监管与发展局）的牌照。而且，周围的邻居都买了，她们可比
我小心多了。”
纳亚娜深吸了一口气：“这次又是什么？”
“象头神保险（Ganesha Insurance）！大家都管它叫GI，
节日有特别折扣，首期保费打五折。”
听到五折，爸爸兴奋地拍起了手。爷爷和奶奶虽然不明所
以，不过也跟着鼓起了掌。
“停！我们家不是早就有生命保险公司的保险了吗？”
“你爷爷、奶奶、外公、外婆年纪都大了，原有的养老金
根本不够用，还得靠我们家供养。生了病，你也不想去公立医
院排队吧，钱从哪来？还有你和你弟弟上私立学校，都得靠省
吃俭用。你不是还想去拉伊大学学表演艺术吗？那里的学费、
住宿费可比孟买的公立大学贵多了……”
“我就知道，最后又会怪到我头上……”
“人既要为长远做打算，也得考虑眼前的生活。”爷爷慢
悠悠地插了一句。
“那这家保险公司又有什么不一样？”纳亚娜问道。
“隔壁的沙阿太太说，这个平台用了AI技术，能够根据全
家人的情况，动态调整保费，用最少的钱实现最大的保障。而
且它还有一系列生活App，推送购物建议和打折券。看看我的头
发，就是在它推荐的美发店做的，才400卢比，比我以前做过的
都要好。”
洛汗想偷偷地拿甜品，却被纳亚娜打了一下手背，只好乖
乖缩回去。
“可一家保险公司干吗要管你去哪做头发呢，它又怎么知
道我们家人的情况呢？”
“这个嘛……”妈妈开始顾左右而言他，“GI接受家庭投
保的条件是，给出所有人的数据接口。”
“什么？”纳亚娜瞪大了眼睛。
“但他们向我保证所有数据都是严格保密的，除非我们允
许，否则他们不能随便使用。”
“你有什么权力把我的数据接口给别人！”纳亚娜失控地
叫起来。
“不许这么跟你妈妈说话。法律上，你还没有成年，作为
你的监护人，是的，我们有权这么做。”爸爸突然严肃起来，
用手指着纳亚娜。
女儿的脸憋得通红，把刀叉使劲往盘里一摔，跑回自己屋
里，用被子蒙住自己的脑袋。在纳亚娜的那片纳迪叶上，这一
定是她生命中最糟糕的一天。
纳亚娜和家人的冷战只坚持了一个礼拜。她开始收到奇怪
的讯息。
一开始，只是一些日常的问候和提醒：要下雨了，出门记
得带伞；最近呼吸道疾病流行，要戴好口罩；临近街区食用水
管道发生泄露；出行路线有交通事故，注意绕开拥堵……纳亚
娜开始觉得GI的服务似乎也没那么讨厌。如果在智能传输设备
smartstream装上GI出品的一系列生活App，绑定数据接口后，
它便时不时地还会推荐一些美妆、服饰、餐饮打折信息和优惠
券。所有这些App都有一个共同点——界面上有一只金色的小
象。
母亲把那只金色小象强行推送到了每个人的终端上。据调
查，在孟买有超过70%的家庭数据控制权是在女性手里，而在印
度的其他城市这个比例只有不到40%。所有这些个人数据都绑定
在由印度国民身份统一管理局（UIDAI）向超过13亿印度合法居
民发放的数字身份卡（Aadhaar）上。数字身份卡从2010年开始
投入使用，经过30年的发展，公民的指纹、虹膜、部分家族遗
传病史、职业及家庭信息、消费及纳税记录等数据都通过这一
系统被政府记录在案。而GI能够在用户同意的前提下获得极高
的数据权限，并使用到其旗下一系列App矩阵中，为用户提供最
为智能和个性化的服务。
当然，总有一些隐私不在打包范围之内，比如社交媒体数
据就需要单独授权，未成年人隐私数据的授权甚至需要获得合
法监护人的同意。
纳亚娜非常谨慎地对待每一次与GI的交互。她总会反复阅
读说明，选择“我接受”或者“再考虑一下”。但慢慢地，她
发现每次选择“再考虑一下”之后，GI总会推送过来更有诱惑
力的折扣信息。
比如，纳亚娜正发愁应该邀请萨赫杰去哪里吃饭，GI就会
立马为她列出全孟买最适合情侣约会的10家餐厅。
纳亚娜猜AI是通过网络浏览记录猜出自己的想法，尽管她
对此也不是百分之百肯定。萨赫杰太可爱了，像一只温顺的绵
羊，想要讨好班上的每一个同学，给每个人送上自己做的木雕
动物头像。见到真人之后，她更加难以自制，不时找各种借口
和萨赫杰热情地搭话。但出于某种原因，男孩总是跟她保持距
离。
他不喜欢我吗？
这个问题盘旋在纳亚娜脑海中，挥之不去。GI则是更加起
劲地推荐诸如“如何在男性眼中显得更有魅力”的建议清单。
也许这对于其他孟买女孩来说，再正常不过了，可在纳亚娜看
来，总觉得哪里不太对劲。为什么女生需要通过改变自己才能
获得男生的青睐，而不是向对方展示最真实的自我呢？
尽管跟妈妈还没有完全和好，可纳亚娜还是趁着她心情大
好的时候抛出了心底的疑惑。
“傻孩子，机器会的也是人类教的呀。”母亲看着镜子中
新买的长裙，转了个身，“如果AI每天都泡在享聊上，那它能
学到的只能是这种大男子主义的调调。怎么？你最近谈恋爱
了？”
“没、没有呀……”纳亚娜心虚地否认。
“你瞒得了我，可瞒不过AI哦。需要我帮你出主意吗？”
“谢了妈。可我在网上给他点赞，他也没什么反应……”
“傻孩子，喜欢一个人，光在网上点赞是不够的。不过这
倒提醒我了，据说如果对GI开放享聊账号，我们家的保费也许
还能再往下降降……”
纳亚娜摇摇头，退出母亲的房间。不久前，母亲还强烈反
对纳亚娜为了获得更准确的占卜结果，向叶占开放数据接口的
想法。现在情况却完全反了过来。
不光是母亲，家里的每一个人似乎都被这个App洗脑了。你
能从它上面看见，自己每一个行为都能够影响下一期保费的升
降。一旦什么事情跟金钱挂上钩之后，人类的大脑就像打开了
赏罚分明的自动程序，不由自主地改造自己，朝着目标竭力逼
近。
老人们得到了许多关于养生和健康的建议，GI会提醒他们
及时服用药物以及到医院复诊。当然他们也可以通过GI直接在
线预约私人医生，只不过政府养老金无法覆盖这部分费用，只
能通过商业医保抵扣。直观地看到保费数字的变化后，老人们
似乎更懂得珍惜自己的生命了。毕竟这个国家有超过2亿老年
人，其中将近六成的人都享受不到医疗保障，只能自求多福。
父亲桑贾伊接受了金色小象的建议，戒掉了香烟，酒也从
浓烈的亚力酒换成了比较健康的葡萄酒。他甚至连开车风格也
有所收敛，不再像赛车手一样在拥堵的孟买街头横冲直撞了。
GI让桑贾伊直观地看到了车险、意外险和寿险保费随着他的行
为习惯的改变而下降，好处可是实实在在的，精确到一分一
厘。
纳亚娜原本以为弟弟洛汗是最顽固不化的。毕竟对于没有
什么自控能力的小孩子来说，脂肪和糖分容易让人上瘾。可金
色小象竟然做到了。当然，它不是让8岁男孩理解延迟满足的重
要性，而是让每一个家人都理解洛汗不健康的饮食习惯会直接
导致保费上涨，从前的心软与纵容便一去不复返。
这一切都很好理解。保险公司当然希望投保人活得更健
康、更长寿，它的利润率也就更高。客观上，这个控制系统也
降低了父亲死于癌症及交通事故的概率，阻止了弟弟成为印度
8000万糖尿病患者中的一员，让4位长者活得更有尊严，更有质
量。GI甚至还通过对智能电网数据的分析，找到一处因为老化
而漏电的线路，避免了一场火灾。
母亲见人就说，政府没有做到的事情，GI做到了！好像这
是一件多么光彩的事情。在纳亚娜看来，母亲已经完全成了GI
的一个传销工具。母亲的整个生活只有一个目标——如何将保
费降到最低，至少必须是社区里最低的。这几乎成了太太们相
互之间的一场竞赛。
可纳亚娜还是犹豫不决：自己究竟应不应该交出享聊的数
据接口？
到她收到了萨赫杰送给自己的动物木雕，一只雕满花纹
的乌鸦。
可乌鸦不是厄运的象征吗？他是让我不要太聒噪吗？他到
底想要说什么？
被一连串疑问折磨得晕头转向的纳亚娜第一时间想到的，
竟然不是登录叶占去算一卦，而是允许GI进入她的社交媒体生
活。
事情非常不对劲。
开放了享聊的数据接口，就好比敞开了卧室的大门，你的
网络私生活一览无遗。尽管GI一再保证，所有的数据都以联邦
学习的方式投喂给AI，不会有任何第三方平台会得到这些隐私
信息，但对于终端用户来说，这样的保证就好比农场主对火鸡
说，你现在很安全，尽情享受生活吧。可谁也不知道感恩节究
竟在什么时候降临。
一想到自己在享聊上的浏览、发言、点赞、表情……以及
在输入框中键入又删除的文字，还有手指在屏幕上滑动、停留
的痕迹，都将成为一个保险“机器”调整账单数字的依据，纳
亚娜就觉得整件事太可笑了。
她还期待这台机器能够充当恋爱顾问呢。
萨赫杰在享聊上留下的信息很少。他像一个不属于这个时
代的老年人，谨慎地转发官方新闻，或者发一些过时的表情
包，给人一种“僵尸”账号的感觉。
毫无疑问，尽管AI不认识萨赫杰，但只要追踪纳亚娜的行
为轨迹，便能够轻易地在两人之间建立起某种关联。这只关乎
算法，与爱情毫无瓜葛。
纳亚娜发现，她每一次刷新萨赫杰的页面时，每一次给他
点赞时，GI都会蹦出奇怪的提示，分散她的注意力。如果她想
找个理由和萨赫杰通话，预约共进晚餐的餐厅，甚至只是在网
上挑选礼物时，GI都会弹出一些完全离谱的推荐，或者干脆让
页面一直处于加载状态，无法显示结果。
如果她猜得没错的话，GI正在阻止她进一步发展和萨赫杰
的关系。这和之前相比，可是大相径庭。
为什么是萨赫杰？或者可能是任何一个人？究竟是哪里出
了问题？
母亲毫无预兆地出现在纳亚娜的房间门口，打断了她的胡
思乱想：“你究竟在搞什么鬼？我们的保费都快涨到天上去
了！”
“我……”纳亚娜不知道该怎么说出口。
“告诉我，否则我就没收你的smartstream。”
“不，你不能这么做！”
“很遗憾的是我可以，而且我现在就要……”
还没等母亲的话说完，纳亚娜就撞开她，跑出了家门。她
要逃到一个没有人能找到自己的地方。她要给萨赫杰打一个电
话，管它保费涨多少。
魂不守舍的女孩不知道走了多久，直到看见混凝土墙上一
张张人脸对自己露出笑容，她才知道自己走到了古堡区的新印
度保险大厦。这座装饰艺术风格的大厦建于1936年，外立面装
饰着表现农民、陶艺师、棉纺女工等劳动者生活的浮雕。
太阳开始落山了，纳亚娜决定在这里给萨赫杰打电话。
男孩的头像旋转闪烁，smartstream不断弹出GI的通知，家
庭保费又上涨了0.73卢比……等待接听的时间如此漫长，就在
纳亚娜几乎要放弃的时候，电话接通了。画面黑乎乎的，看不
太清楚，只有当萨赫杰咧嘴一笑时，那口整洁的白牙才暴露了
他。
“是你吗，萨赫杰？”纳亚娜怯声问道。
“……是我，纳亚娜？”
“我以为你不会接我电话呢。”
“嗯……我不能说太久，不过……我并不是不想跟你说
话。”
“我知道。”纳亚娜的心都快跳上天了，“我给你发餐厅
地址，一会儿见？”
萨赫杰似乎有一丝为难，不过最终还是答应了。
挂掉电话，纳亚娜忍不住欢呼了一声，却听到身后有人叫
自己的名字。她转身一看，是母亲。丽娅站在夕阳下，浑身闪
烁着金红色的光。
“妈妈？……你怎么知道我在这里？”
“别忘了，我还是这家里的数据管理员。”丽娅做出生气
的样子。
“对不起。”纳亚娜不敢直视母亲的眼睛，“我喜欢上了
一个人……我想去见他，可是GI不让我去……”
“这就是保费上涨的原因？这可太奇怪了，我一直以为GI
的目标就是最大限度地延长我们的寿命，不让人干出一些伤害
健康的蠢事。除非，那是一个很危险的人？或者，他患有某种
传染病？”
纳亚娜摇摇头：“他是我的新同学萨赫杰，很聪明，很有
才华。”纳亚娜从口袋里拿出萨赫杰送她的礼物，“喏，这是
他自己刻的。”
母亲仔细端详着那只木头乌鸦：“感觉他确实不像是坏
人，我敢打赌他应该还挺帅。”
纳亚娜收起木雕，露出了羞赧的笑容，随即又变得忧心忡
忡：“也许我应该听GI的话？也许这对我，对我们家，都是更
好的选择？”
“孩子，我想告诉你一些事情。”母亲搂着女儿的肩膀，
缓缓地往回走，“之前有一段时间，我感觉到了咱们之间的小
别扭。也许由此而来的担忧影响了我的举动，AI注意到了这些
变化，开始向我推荐一些书……”
“那么你读了什么？”纳亚娜开始好奇。
“一本20年前的电子书，名字却叫《AI2041》。里面有一
个关于母亲和女儿的故事。母亲为了维护自己的权威，却忽视
了女儿成长的烦恼……巧的是那也是一家印度人！里面还提到
了科妮莉亚·索拉布吉（ Cornelia Sorabji），那是一位我曾
经深深敬仰的女士……”
“妈，能说一点关于那位女士的故事吗？”
“20年前，当时我比你大不了几岁。我最大的愿望是当一
名律师。也许是因为我的母校——孟买大学曾经出过印度历史
上第一位女律师科妮莉亚·索拉布吉。尽管她1919年就在牛津
大学拿到了律师资格，却因为印度没有女律师的先例而被拒绝
注册成为执业律师。她与官僚机构抗争了许多年，才真正成为
一名律师，替女性和弱势群体伸张正义，争取权利。”
纳亚娜吃惊地看着母亲，她从来不知道这些事情。
“但是100年后，女性的处境依然很艰难。我的父母希望我
能够尽快嫁人，而不是混在男人堆里整天和罪犯打交道。这就
是为什么在这个国家女性地位如此低下的原因。我没有科妮莉
亚那么勇敢，我放弃了。我珍藏那件纱丽，就是为了向科妮莉
亚致敬。当年她把纱丽反过来穿，作为一种示威。”
母亲停下来，双手放在女儿的肩上，眼中有什么东西闪闪
发光。
“我希望能给你有足够安全感的生活，这样你就不需要靠
嫁给谁才能得到幸福，这样你就可以去追求任何你想要的东
西，成为任何你想成为的人。比如，去上拉伊大学学时尚科技
与表演艺术。纳亚娜，无论是谁，人或者AI，告诉你你不能做
什么，别听他们的。有些事情如果自己不去尝试，你永远也不
会知道答案。”
纳亚娜仿佛第一次真正认识了自己的母亲，她激动得说不
出话来。
“所以……所以你并不介意我离开孟买……去艾哈迈达巴
德？”
“这个嘛……如果你考得上的话，不过竞争可是很激烈
哦。”母亲微微一笑。
“也不介意因为我，家里的保费上涨？”
“有一些风险值得去冒，我相信我的女儿有自己的判断
力。”
“谢谢你，妈妈！我现在就去找萨赫杰！”
纳亚娜吻别母亲，雀跃着奔向车站。一辆红色的双层巴士
正从马路拐角驶来……
透过玻璃窗，纳亚娜看见餐厅里的侍者们正忙碌地摆放餐
具，点亮烛台，等待顾客在这个浪漫的夜晚走进靛蓝餐厅(2)。
萨赫杰站在窗外的街边，他的皮肤在夜色中显得更加深沉。他
一点也没有想走进那家餐厅的意思。
“对不起，我不能……”他的眼睛像一对萤火虫，幽幽发
亮。
“为什么？”
“如果我和你进了这家餐厅，我的妈妈会不高兴的。这种
消费行为会提升我们的保费。”
“难道说……”纳亚娜闪过一个念头，“等等！你们也加
入了GI的家庭计划？”
“是的。我妈妈生病了。我们只负担得起草药的钱，可是
草药治不好她。我们很幸运，GI有面向弱势群体的特殊通道，
否则，我们可能根本负担不起……”
“可我还是不明白！为什么你要送给我乌鸦？而不是孔
雀、兔子或者别的什么动物……”
萨赫杰又露出了迷人的微笑：“问题小姐，我们不该站在
这家高级餐厅门口，像两个傻瓜一样瞪着对方。边走边说
吧。”
夜幕初降的孟买街头车水马龙，喇叭声此起彼伏，像是公
鸭在比拼嗓门。璀璨的灯火照亮这座容纳了3000万人口的巨型
城市，她的历史可以追溯到石器时代。最初到达这里的希腊人
给她起名为“Heptanesia”，意思就是“七座岛”，后来历经
佛教的孔雀王朝、印度教的锡拉哈拉王朝、伊斯兰教的古吉拉
特王国，直到落入葡萄牙人的手里，然后又被当成凯瑟琳公主
的嫁妆送给了英国人。再后来，她成了印度争取独立的核心，
伴随着血与火的洗礼，直到今天。
纳亚娜意识到萨赫杰非常小心地保持和自己的距离，就像
她身上带着电流或者尖刺。
“为什么我们就不能……不能靠近彼此？”纳亚娜小心地
选择措辞。
这下轮到萨赫杰露出了惊讶的表情：“你真的不知道吗，
纳亚娜？”
“知道什么？”
“我的姓氏啊。”
“学校和虚拟课堂的系统一直把你的姓氏保护得很好，就
像是什么名门望族的后代。”
“恰恰相反，这是因为他们不想让你们产生不好的感
觉。”
“什么不好的感觉？”
“在以前，它被形容为一种‘被污染’的感觉。”
“你是在说……种姓？可我以为那已经被禁止很久了。”
萨赫杰苦涩地笑了笑：“法律上不允许，新闻里不出现，
人们不说这个词，但这并不代表它就消失了。”
“可AI是怎么知道的呢？”
“AI并不知道。事实上，它根本不需要知道任何关于种姓
的定义，它只需要从历史数据中学习。你住哪个社区，做什么
工作，赚多少钱，开什么车，平常吃什么，在网上喜欢看什
么……所有这些都会通过算法把你和一个更大的群体联系起
来，即便你并不认可这种身份。无论你用什么方式隐藏或改变
你的姓氏，它都像一个影子一样存在着。人没有办法摆脱自己
的影子，不是吗？”
纳亚娜想起妈妈说过的话，若有所思：“所以，AI是通过
对数据的学习，将社会上对于种姓的隐性歧视，显性化成可以
量化计算的保费。”
萨赫杰故作轻松地笑了笑：“哈，差点忘了，还有肤色。
最初代表种姓的梵文‘瓦尔那’（vārna），意思就是‘颜
色’。”
“这简直太荒谬了！”
“这就是现实，纳亚娜。低种姓的女孩或许可以嫁给高种
姓的男性，但如果反过来，则会被社会视为不道德。高种姓女
孩的家庭声誉会受损，她的兄弟姐妹也会被人指指点点。”
“可我以为AI并不懂这些。”
“没错，AI并不在乎这些古老的规矩，它只在乎如何尽可
能降低保费。这就是为什么GI要阻止我们在一起的原因。”
不知为何，当听到萨赫杰说到“在一起”时，纳亚娜的耳
朵微微发烫，头开始发晕，以至于没听清男孩说出的一个术
语。
“目标函数最大化。”
“那是什么？”
“如果人类告诉AI，嘿，让这些人的保费降得越低越好。
然后，AI就会千方百计地去实现这个目标。客观上，GI的建议
会让投保人活得更久、更健康、更安全，但除此之外，它不会
考虑其他的因素，比如这些人快不快乐。”
“这也太蠢了。”
“机器还没有聪明到能够理解人类的快乐。况且，所有这
些不公平与偏见都是真实存在的。AI只是揭开了那层遮羞的面
纱。”
“你怎么知道这么多？”纳亚娜眼中又多了几分赞赏。
“我想申请上帝国理工学院。”萨赫杰小心翼翼地说出了
自己的心愿，“我想成为一名算法工程师，然后，改变这一
切。”
两人走到一个岔路口，离纳亚娜的家已经很近了。萨赫杰
打算就此告别，女孩却有话还没说完。
“这种不公平让我想起了叶占上的那些预言，那些预言早
在千百年前就被写好了，每一个人都不得不接受命运的安
排……”
萨赫杰露出奇怪的表情：“难道你还不知道？”
“知道什么？”
“叶占也是GI家族的App之一。那些所谓的算命结果，都是
来自AI对你的数据分析。”
“啊？所以命运也不是真的……”纳亚娜突然感到一阵失
落。
萨赫杰沉默了一会儿，指向自己将要走的方向。
“这条路通往我的家。它将经过达拉维工地，孟买的心
脏，那里曾经是容纳过100万人的超级贫民窟。每个游客都想到
此一游，拍照留念，但他们绝对不会住下来。政府正在把它改
造成适合普通市民居住的超级社区。可当你靠近达拉维时，GI
还是会不停地推送警报，告诉你上周有多少人在这里被杀，有
多少女孩被强奸，有多少孩子死于痢疾。纳亚娜，我很欣赏你
的正义感，但这样的一条路，不是为你们这样的人准备的。如
果我们要讨论命运，这就是命运。”
“带我去。”纳亚娜朝前迈出一步，连她都被自己的话吓
了一跳，“我要证明给你看，我不是你所说的那种人。”
“你确定吗？”
纳亚娜遥望远处那片改造中的工地，在灯火通明的孟买中
心，那里就像一片黑暗的沼泽。她心里生出几分害怕，但她又
想起了妈妈之前告诉过自己的话。
“有些风险值得去冒。”她坚定地说。
“请。”萨赫杰微微一笑，像个真正的绅士那样伸出手，
让纳亚娜先走。
两个孩子在这座古老的城市中行走。历史在每一条反复修
缮的街道上，在每一张表情复杂的脸上，在每一个来历不明的
音节里留下印迹。它们都是孟买的灵魂。这些灵魂又将被打
碎、重组，然后拼贴成明天崭新的机器神灵。
“那么你到底为什么要送我乌鸦？”
“我的星座动物是乌鸦，虽然我没那么擅长社交。”
“就这么简单？”
“就这么简单。”
纳亚娜的smartstream越来越频繁地震动起来。她知道这是
来自GI的警告，警告自己务必远离达拉维。那里曾经是全世界
最大的贫民窟，那里充满了贫穷、犯罪、疾病，以及所谓的
“不可接触者”——就像眼前的这个男孩。
她紧了紧衣领，沿着古老的街道继续向前走去。
女孩决定要自己找到答案。
导读解析：
《一叶知命》为我们清晰展现了象头神保险公司所使用的
深度学习技术的力量：纳亚娜的妈妈丽娅买到划算的东西，省
了不少钱；爸爸桑贾伊戒了烟，开车风格也有所收敛；弟弟洛
汗改变了不良的饮食习惯，吃得更健康了，以免成为印度8000
万糖尿病患者中的一员……客观来看，象头神保险公司的确做
到了帮助投保人“活得更长久、更健康、更安全”。
那么，深度学习技术就没有任何陷阱吗？事实上，如何平
衡好技术的尺度也是《一叶知命》的故事想要探讨的内核，这
个问题也引发了人们对AI基础概念之一——深度学习的思考。
目前，AI已经发展成一门涵盖许多子领域的重要学科。
机器学习是迄今为止AI应用最成功的子领域，而在这个领
域中，最大的技术突破就是深度学习。正因为如此，人们在提
到“人工智能”“机器学习”和“深度学习”的时候，可能不
会把它们的概念区分得那么清楚，有时候，这几个词会被混
用。
2016年，基于深度学习技术开发的围棋棋手AlphaGo击败了
韩国棋手李世石，令世界为之震惊，而深度学习也借此彻底点
燃了人们对AI的热情。此后，深度学习成为大多数AI商业化应
用中非常重要的技术。作为“幕后功臣”，深度学习也出现在
了本书的绝大多数故事之中。
《一叶知命》这个故事充分展示了深度学习的惊人潜能，
但也暴露了这一技术背后潜在的风险，例如无法消除隐含在技
术背后的偏见等问题。那么，研究人员应该如何开发、训练和
应用深度学习？深度学习有哪些局限性？数据将如何推动深度
学习的发展？深度学习在什么条件下才能发挥最大价值，为什
么？
这些都是我们要逐一解决的问题。
什么是深度学习
受人类大脑内部复杂的神经元网络的启发，深度学习模拟生物
神经网络，构建出包括输入层和输出层在内的人工神经网络，当将
数据输入该网络的输入层后，在输出层就会显现出相应的处理结
果。在输入层和输出层之间，可能存在很多中间层（又称隐藏
层），从而能够更深入地刻画所处理对象的特征，并具备更强大的
函数模拟能力。几十年前，计算机算力有限，只能支撑一两层中间
层。近年来，随着算力增强，可以训练出有成千上万层中间层的网
络，“深度学习”即由此得名。
许多人认为，人类使用特定的规则去“编码”AI，利用自身的
认知（比如猫有尖尖的耳朵和胡须）去“教导”AI，才能让算法具
备相应的能力。但这种做法反而会弄巧成拙，没有这些外在的人类
规则，深度学习的效果其实会更好。深度学习的训练方法是，针对
特定的应用场景，给人工神经网络的输入层“投喂”大量数据样
本，同时给输出层“投喂”相应的“正确答案”，通过这样的训
练，不断优化人工神经网络的内部参数，使根据输入生成最接近
“正确答案”的输出的概率最高。
举个例子。研究人员如果想训练一个人工神经网络利用深度学
习技术学会确认一张图片上是否画着猫，他会先向该网络的输入层
“投喂”数百万张带着“有猫”或“无猫”标签的图片样本，然后
把相应的结果“投喂”给输出层，再根据输入与输出对该网络内部
的参数进行优化，使每一次新的输入行为都能提高输出正确结果的
概率。通过这种训练，人工神经网络能够在数百万张图片中，自己
找到最有助于区分是否有猫存在的那些特征。人工神经网络的训练
是一个数学处理过程——通过不断调整网络中的数百万个参数（有
时甚至是数十亿个参数），来最大限度地提高“只要输入有猫的图
片，就输出‘有猫’的判定”的概率，以及“只要输入没有猫的图
片，就输出‘无猫’的判定”的概率。在训练过程中，人工神经网
络和其中的参数会组成一个巨大的数学方程组，用以解决有猫无猫
的问题。一旦完成训练，它就可以对从未见过的图片进行判断，确
定图片上是否有猫。图1-1展示了一个利用深度学习技术识别图片
上是否画着猫的神经网络架构。
图1-1 经过训练，人工神经网络能够判定输入的图片上“有猫”还是“无猫”
在训练过程中，可以将深度学习视为解决目标函数最大化问题
的一种数学运算。这个目标函数是由每次的训练主题决定的，比如
在识别猫的这个例子中，目标函数就是正确判断出图片上“有猫”
或者“无猫”的概率。
深度学习几乎在任何领域都能发挥识别、预测、分类、合成的
作用。在《一叶知命》这个故事中，象头神保险公司就是把深度学
习技术应用到保险行业，用于判断投保人可能面临的健康问题，并
以此作为确定保费的依据。
为了让人工神经网络能够区分出那些可能患重大疾病的人，象
头神保险需要整理出一套训练数据。这套数据需涵盖所有过去的投
保人的信息，包括每个人的个人病史和家庭病史等，并且每个数据
样本都应打上是否有过重大疾病索赔记录的标签（就是在输出层标
注“有重大疾病索赔记录”或“无重大疾病索赔记录”）。在用海
量数据进行训练后，该网络就可以预测出新的投保人在未来提出重
大疾病索赔的概率，并决定是否核准该投保人的投保申请；如果核
准，该网络还要给定适合该投保人的保费额度。
值得注意的是，在这个场景中，不需要由人来为过去的投保人
打上是否有过重大疾病索赔记录的标签，取而代之的是，这些标签
应完全依据“黄金标准”（例如有无重大疾病索赔记录）自动生
成。
深度学习：能力惊人但也力有不逮
第一篇阐述深度学习的学术论文发表于1967年，但这项技术却
花了近50年的时间才得以蓬勃发展，之所以经历了这么长的时间，
是因为深度学习需要海量的数据和强大的算力，才能训练多达几千
层的神经网络。如果把算力比作AI的引擎，那么数据就是AI的燃
料，直到最近10年，算力才变得足够高效，数据才变得足够丰富。
如今，智能手机所拥有的算力，相当于1969年美国国家航空航天局
（NASA）把尼尔·阿姆斯特朗送上月球时所用电脑算力的数百万
倍。除算力的大幅提升外，数据量的增长也不遑多让——2020年的
互联网数据量几乎是1995年时的1万亿倍。
尽管深度学习的最初灵感来源于人类的大脑，但二者的运作方
式截然不同：深度学习所需要的数据量远比人脑所需要的多得多。
可是一旦经过大数据训练，它在相同领域的表现将远远超过人类
（尤其是在数字的量化学习，例如挑选某人最可能购买的产品，或
从100万张脸中挑选最匹配的一张）——相对来说，人类在同一时
间内只能把注意力放在少数几件事情上面，而深度学习算法却可以
同时处理海量信息，并且发现在大量数据背后的模糊特征之间的关
联，这些模糊特征不仅复杂而且微妙，人类往往无法理解，甚至可
能不会注意到。
图1-2 深度学习的最初灵感来源于人类的大脑
（图片来源: dreamstime/TPG）
此外，在借助大量数据进行训练时，深度学习可以针对每一个
用户提供定制化的服务——基于海量数据中较相似用户的数据，对
每个用户做出贴切的预测，以达到千人千面的效果。例如，当你访
问淘宝时，它的AI算法会在首页醒目的位置向你重点推荐你可能愿
意下单购买的商品，刺激你的消费欲，让你最大限度地在淘宝消
费。AI算法推荐这些商品所依据的，不仅仅是你过去的浏览痕迹，
也包括和你画像相似的其他用户的浏览痕迹。当你刷抖音上的短视
频时，系统的AI算法会让你总能刷到感兴趣的内容，尽量延长你在
该应用程序上的停留时间。淘宝和抖音的AI算法是定制化的，会针
对不同的用户分别考量与之相类似的用户的特征，最终为其展示不
同的个性化内容——同一个内容，可能在你眼里根本一文不值，但
我会觉得很有价值——这种有针对性的精准定制化服务所带来的用
户点击率和购买率，比传统的静态网站通常所使用的内容推送方法
要好很多。
深度学习的能力非常强大，然而它并不是“包治百病”的灵丹
妙药。
虽然深度学习拥有人类所缺乏的并行处理海量数据的“绝
技”，但不具备人类在面对决策时独一无二的汲取过去的经验、使
用抽象概念和常识的能力。
与人类相比，深度学习想要充分发挥作用，离不开海量的相关
数据、单一领域的应用场景以及明确的目标函数，这三项缺一不
可，如果缺少其中任何一项，深度学习将无用武之地。如果数据太
少，AI算法就没有足够多的样本去洞察数据背后的模糊特征之间的
有意义的关联；如果问题涉及多个领域，AI算法就无法周全考虑不
同领域之间的关联，也无法获得足够的数据来覆盖跨领域多因素排
列组合的所有可能性；如果目标函数太过宽泛，AI算法就缺乏明确
的方向，以至于很难进一步优化模型的性能。
我们必须了解：AI “脑”（深度学习）和人的大脑是非常不
一样的，从学习方法到擅长领域：
表1 人脑和AI“脑”的差别和擅长
深度学习在互联网和金融行业的应用
由于深度学习具有上述优缺点，互联网行业的领头企业成
为AI技术的第一批受益者也就不足为奇了。脸书、亚马逊、阿
里巴巴、腾讯等国内外大型互联网公司手中拥有最多的数据，
这些数据通常会基于用户的行为（如用户是否点击或购买，或
者在某一页面上的停留时长等）被自动打好标签，进而根据现
有的用户行为来推动公司业务量（如营业收入或广告点击量）
的最大化。这个流程打通后，互联网公司的应用程序或平台就
变成了“印钞机”一般的存在，随着所积累的用户行为数据越
来越多，公司会赚到越来越多的钱。这便解释了谷歌、脸书、
亚马逊、阿里巴巴、字节跳动（旗下有抖音）之类的互联网巨
头，在过去10年里市值不断攀升，最终成为领先的AI型公司的
原因。
在互联网之外，深度学习触手可及的下一个行业是金融
业。比如故事《一叶知命》所描述的保险公司，它具备同互联
网公司相似的便利条件：拥有单一领域（保险业）海量的高质
量数据，而且这些数据都与业务指标紧密相连。
正因为如此，基于AI的金融科技公司陆续出现，例如美国
初创的保险公司Lemonade和中国的水滴公司等，它们使用户能
够通过应用程序购买保险或申请贷款，并且在很短的时间内就
能完成审核流程。这些使用AI技术的金融科技公司正在超越传
统的实体金融公司，因为它们可以通过对海量数据进行学习，
实现更好的财务成果（基于用户信用评级降低违约率）、更高
效的即时交易（借助AI和应用程序），以及更低的成本（无须
人工）。当然，传统金融公司也看到了AI的威力，它们在自己
的各个内部流程中也使用了AI技术。至于最终的结果究竟是
“传统公司＋AI”会成功，还是创业型AI公司会颠覆传统公
司，我们拭目以待。
AI还有一个非常有趣的优势，就是数据越多越好，数据越
多元化越好。通过不断搜集数据（包括那些让人类专家大跌眼
镜的稀奇古怪的数据），AI可以做出更精确的判断，从而创造
更多的利润。比如保险公司为了审核你的投保申请，其AI可以
试着去了解你更喜欢买加工食品还是买蔬菜，更喜欢把时间花
在手机游戏上还是花在健身房里，更愿意投资陌生网友推荐的
股票还是投资对冲基金……所有这些信息都会成为证据，说明
很多关于你的情况，包括你身为投保人的相对风险，而这些数
据都可以通过你的手机应用程序来获取。
在故事《一叶知命》中，象头神保险公司会通过用户界面
上的“金色小象”，时不时地向用户推送美妆、服饰、餐饮方
面的打折信息、优惠券，以及投资建议。每当纳亚娜根据“金
色小象”的推荐购买商品、阅读财务资讯、进行网络交友时，
象头神保险公司都会收集到相应的数据，然后利用这些数据来
优化自身的AI系统，向更加智能的方向发展。
以上过程，类似于腾讯汇聚我们在微商中留下的购物历
史，在微信支付中留下的转账交易记录，在微信中的好友信
息，以及我们的小程序使用习惯等，借此了解我们是什么样的
人。在这些信息中，有的一看就是价值很高的，有的看起来价
值一般，但是深度学习的强大之处就在于它可以在所有信息的
特征中找到微妙的组合，对组合特征中丰富的有价值的信息做
更深层的洞察，而这个过程是人类无法理解、无法做到的。
深度学习带来的问题
任何强大的技术都是一把双刃剑。比如电力可以为人类社
会的日常设施提供动力，但如果人直接碰触电，就可能丧失性
命。再如互联网让一切变得更加方便，但也大幅降低了人对事
物的专注力。那么，深度学习在给人类带来便利的同时，又会
带来什么问题呢？
第一个问题是，深度学习会使AI比你更了解你自己。虽然
好处显而易见──AI可以向你推荐以前没有听说过的商品，可
以精准地为你推荐伴侣或者朋友，但事情的另一面是，AI也会
掌握你的缺点——你有没有过这样的经历：本来只想打开抖音
看一个视频，却刷了3个小时还停不下来？在哔哩哔哩上无意中
点击了一个鬼畜视频，然后就源源不断地接收到更多的鬼畜内
容？某天晚上不小心在网络电台点播了一个恐怖故事，之后的
每个深夜都会定时被恐怖故事惊扰？
奈飞平台2020年的高分纪录片《智能陷阱》就展现了AI个
性化推荐如何让人们在无意识中被操纵，使AI应用程序背后的
利益方达成目的。正如在纪录片中出镜的谷歌前产品设计师、
设计伦理学家特里斯坦·哈里斯所说的那样，你在手机上的每
次点击都会激活价值数十亿美元的超级计算机，它会根据从20
亿用户的行为中学习到和提取到的经验，对准你的大脑，企图
左右你的思维。对于用户来说，对个性化推荐上瘾的行为会导
致恶性循环。AI应用程序为用户提供符合其特征的个性化推
荐，使用户不断接收到其所偏好的信息，然后就不知不觉逐渐
被困在“信息茧房”里，拒绝接收不符合其固有认知的异质信
息。应用程序根据用户接收信息的行为特征，向用户推荐更多
的其所偏好的同质信息，从而使用户陷入“乐此不疲”的快
感，难以自拔，无法戒掉这些应用程序。这种机制对于用户来
说是恶性循环，但对那些把这种机制当作印钞机的大型互联网
公司来说，却是良性循环。
这部纪录片还提出了一种观点：如果人们对AI的个性化推
荐上瘾，这类应用程序就可能缩窄人们的视野、扭曲事实的真
相、加剧社会的分化，对人类的情绪、心理健康、幸福感等方
面造成负面影响。
从技术层面来说，上述问题的关键在于目标函数的单一
性，以及AI专注于优化单一目标函数所带来的不利的外部效应
——如今，AI所训练的目标函数通常针对的是单一目标，例如
赚钱（或者更多的点击量、广告），因此，AI有可能过度热衷
于企业的目标绩效，而不考虑用户的福祉。
《一叶知命》中的象头神保险公司承诺尽量降低保费，由
于保费的数额与投保人的重大疾病索赔概率高度相关，“金色
小象”会给用户提供养生建议，让用户改善自己的健康状况。
从表面来看，保险公司和投保人的目标似乎是一致的，然而在
故事中，象头神保险公司的AI系统计算出“高种姓”的纳亚娜
和“低种姓”的男生萨赫杰之间的恋爱关系会增加纳亚娜一家
将来的保费，所以不断试图阻挠这对年轻人相恋。象头神保险
公司的AI系统经过海量数据的训练，能够发现事物之间的因果
关系，例如基于同一个目标函数，通过分析数据，发现吸烟会
导致患病的风险升高，于是说服用户戒烟，这是好事情。但另
一方面，AI系统还发现，和“低种姓”的萨赫杰在一起会拖累
纳亚娜，这就导致了AI系统尝试残忍地拆散这对情侣，甚至可
能因此而进一步加剧社会的不平等。
那么，如何才能解决这个问题呢？一种通用的方法是让AI
的目标函数变得不再单一。例如既要降低保费，又要维护社会
的公平；再如对于权衡用户花在社交网络上的时间这个问题，
特里斯坦·哈里斯建议把“用户在社交网络上花费的有意义的
时间”也作为衡量标准之一，而不是仅限于“用户在社交网络
上停留的时长”，通过同时考量这两者，制定出混合型的复杂
目标函数。AI专家斯图尔特·拉塞尔（Stuart Russell）提出
了另一种解决方法，他主张在设计目标函数时需要考虑人类的
福祉，并让人类更大程度地参与数据标注和目标函数的设计，
比如我们能否建立关于“更大的人类利益”的目标函数——诸
如“人类的幸福”之类的目标函数？能否让人类来定义和标注
什么是幸福？这方面的尝试，将在第九章《幸福岛》中做详细
的阐述。
所有这些方法，不仅需要对AI的复杂目标函数展开更加深
入的研究，而且需要对“所花费的有意义的时间”“维护社会
公平”“幸福”等概念进行量化。不过，这些方法会使企业的
盈利变少，那么如何激励企业让步做正确的事情呢？一种方法
是制定法规，对某些伤害人类福祉的行为给予处罚；另一种方
法是对企业承担社会责任的行为进行评价，比如目前ESG(1)得到
了越来越多的来自商业界的关注，或许负责任地使用AI也可以
成为未来ESG的一部分，以鼓励企业的正面行为；还有一种方法
是建立第三方监管机构，监督企业对技术是否有不当使用，例
如追踪产品中出现虚假新闻的比例或AI算法导致歧视的诉讼案
件数量，并向企业施压，要求企业把考虑用户的福祉纳入技术
中；最后，特别困难但又特别有效的一种方法是，确保AI技术
持有者的利益与每个用户的利益达成100%的一致（参见第九章
《幸福岛》）。
深度学习所带来的第二个问题，就是会使不公平和偏见得
以延续。AI完全基于数据优化和结果优化进行决策，理论上应
该比大部分人更加不受偏见的影响，但是，其实AI也可能产生
偏见。比如，倘若用于训练AI的数据不够充分、全面，对某些
群体的覆盖率不足，那么就会产生偏见。曾经有一家著名公司
的招聘部门发现，因为训练样本中女性的数据不够，其所使用
的AI软件不看好女性候选人。再如，倘若训练数据全部收集自
一个有偏见的环境，那么数据本身就可能带有偏见。微软的Tay
对话机器人和OpenAI的语言模型GPT-3，都生成过歧视少数群体
的言论。
最近有研究表明，AI可以基于面部微表情精准地推断一个
人的性取向，这种AI应用就可能导致不公平和偏见。这与《一
叶知命》中萨赫杰所遭遇的情况类似，萨赫杰的“低种姓”并
不是直接标注给AI系统的，而是AI系统通过历史数据和个人特
征推断出来的。换句话说，萨赫杰并没有被直接贴上“达利
特”的标签，但因为他的数据和特征与“达利特”高度相关，
所以象头神保险公司的AI系统向纳亚娜发出警告，并且阻挠她
与萨赫杰在一起。尽管这些偏见和歧视并非出于AI的本意，但
是仍会造成极其严重的后果，而且如果把带有偏见的AI应用于
医学诊断或者司法判定，那么其风险将无法想象。
因此，我们需要全力以赴应对AI的公平性问题和偏见问
题。第一，使用AI的公司应该披露AI系统被用在哪里以及使用
目的。第二，AI工程师应该接受一套职业道德准则的培训——
类似医学生宣誓用的“希波克拉底誓言”。这样，工程师才能
深刻地理解，他们所从事的职业使他们承担了把事关伦理道德
的重要决策嵌入产品之中的任务，这是足以改变他人人生轨迹
的事情，工程师有责任承诺维护用户的权益。第三，工程师使
用的AI训练工具应该嵌入严格的测试机制，以对基于样本比例
不公平的数据训练出来的计算模型发出警告或彻底禁止生成模
型。第四，应该制定AI审计法。这与传统的财务审计或税务审
计类似，AI公司被举报后，政府需要派遣专家对其进行审计。
如果一家公司在AI的伦理道德或者公平性方面多次被投诉，它
的AI算法就必须接受审计，以检查、确定其是否存在不公平、
偏见或隐私保护方面的漏洞。
深度学习的第三个问题，就是它的不可解释性。人类总是
能解释人类决策背后的原因，因为人类的决策过程本身比较简
单，是基于经验积累得出的规则。可是，深度学习的决策基于
复杂的方程组，这种方程组有数千个特征和数百万个参数，深
度学习决策的“理由”，就是在一个有数千个维度的“空间”
里经过海量数据训练而得出的数学方程组，要把这个方程组精
确地简化成一个人类可以听得懂的“原因”，基本上是不可能
的。但是，无论是出于法律的考量，还是出于用户的期望，许
多关键的AI决策都需要给出一个解释。为了解决这一问题，人
们目前正在进行许多相关的研究，这些研究试图简化、总结AI
复杂的逻辑过程，或者发明具有可解释性框架的AI算法，从而
使AI变得更加“透明”。
上面所提到的这些深度学习所带来的问题，已经引起了公
众对AI的严重不信任。不过，所有的新技术都有缺点，而，历
史表明，许多技术的早期漏洞都将随着时间的推移而得到纠正
或被彻底解决。大家可以回想一下，当年防止人类触电的断路
器，还有查杀电脑病毒的杀毒软件，就是很好的例子。因此我
相信，未来通过改进技术和完善政策法规，将会解决深度学习
（乃至AI）所带来的大部分问题，比如不公平、偏见、不透
明。然而重要的是，我们必须追随纳亚娜和萨赫杰的脚步——
让人们意识到这些问题的严重性，然后动员人们为解决问题而
努力。