预售通道：机器学习测试入门与实践

写作背景

随着科学技术的发展，人工智能已逐步渗入到社会的各个领域，如智慧城市、智慧金融、智能家居等。人工智能技术正以前所未有的速度全方位地改变着我们的生活，并引导了新一轮的产业变革。为了抢占人工智能发展的战略机遇，众多企业都在积极地做数字化转型升级。人工智能领域在迎来重大发展机遇的同时也面临着巨大挑战，这对每一位人工智能领域的从业人员和有志之士的技术水平、专业领域知识都提出了更高的要求。

机器学习是人工智能领域最重要的方向之一。随着基于机器学习应用程序的日益普及和它本身技术的复杂性，机器学习应用程序的质量问题越来越突出。这主要体现在数据质量、特征工程、模型效果、产品功能等方面。例如，训练数据的质量问题会导致机器学习模型的不可靠，最终可能得出错误的结论，做出错误的决定（预测）。在带来质量风险的同时也将带来成本上升。据IBM在2016年对数据成本的研究估算，仅由于数据质量差，每年的经济成本损失就约3.1万亿美元。由此可见，做好机器学习应用程序的质量保障是其在业务落地应用的重要一环。

对于传统软件、互联网产品的测试，其测试方法及质量保障体系已相对成熟。而机器学习测试是一个不同的、较新的方向，我们无法对传统软件及互联网产品的测试方法做生搬硬套，行业领域里也鲜有完整的机器学习质量体系可供借鉴。面对机器学习测试的技术挑战，在过去的两年里，作者制定并完成了系列技术攻坚行动。大体从3个方面着手：先通过机器学习专业课程的培训，系统的学习机器学习技术，并熟练建模训练的流程；再基于专项技术实践（大数据自动化、特征自动分析、模型效果评测、模型实验管理等），不断地积累机器学习测试实践经验，并逐步搭建机器学习应用程序的质量体系；最后结合业务场景，做进一步补充完善（模型部署、模型监控等）。

写作本书的初衷是希望与行业朋友分享作者在机器学习测试方面的实践和经验积累，共同推进机器学习测试的发展，助力业界朋友在"新基建"浪潮中赢得未来先机。

内容提要

本书全面系统地介绍了机器学习测试技术与质量体系建设，共15个章节，分为5部分。

第1部分（第1-4章）基础知识篇涵盖了机器学习、Python编程、数据分析的基础知识；
第2部分（第5-7章）大数据篇介绍了大数据基础、大数据测试指南及相关工具实践；
第3部分（第8-10章）模型测试篇讲解了机器学习测试基础、特征专项测试及模型算法评估测试；
第4部分（第11-13章）模型工程篇介绍了模型评估平台实践、机器学习工程技术及机器学习持续交付流程；
第5部分（第14-15章）AI in Test篇探讨了AI在测试领域的探索实践及AI时代测试工程师未来。

本书能够帮助读者了解机器学习是如何工作的，了解机器学习的质量保障如何入手。本书适合想要了解机器学习的一般读者阅读参考，适合想要学习和掌握机器学习的技术工作者。

对于工程开发和测试工程师，通过阅读本书可以体系化地了解大数据测试、特征测试及模型评估等知识；对于有算法数据背景的工程师，通过阅读本书可以学习和拓宽模型评测的方法手段、模型工程实践的思路；对于技术专家、技术管理者，通过阅读本书可以收获机器学习质量保障与工程效率的建设思路。

本书特色

第一本书，业界第一本AI测试秘籍。

通俗易懂，精选15个AI测试要点，从零入手，全面了解机器学习测试。

内容丰富，涵盖5大技术主题，大数据、模型算法、模型评测、工程架构、智能化测试。

鼎力推荐，32位测试专家、算法专家、技术负责人、大学教授联袂推荐。

场景典型，详细解释3个主流模型场景问题，图像分类、广告推荐、金融风控。深度剖析信贷风控模型技术原理、工程架构，并对风控模型产品输出了全链路质量保障方案。

集百家之长，吸纳了市面上优秀著作的特点，如在阐述理论过程中，使用更多的图解；代码采用彩色样式，阅读起来更直观。150多张实例插图，图文并茂的讲解。全文彩色印刷，力求最佳体验。

作者简介

专家推荐

作为业界第一本系统讲解AI测试的书籍，本书受到了业界专家的广泛关注及一致好评。

现节选部分精彩点评，内容如下：

本书主要聚焦机器学习领域，机器学习是人工智能算法的核心，书中内容均是融360 AI测试团队在机器学习测试方面的实践和经验积累。希望通过这种有效的分享和学习，可以更好地促进人工智能领域的技术交流，让思想在碰撞中迸出更多火花。——融360联合创始人、CEO 叶大清

不同于传统的机器学习相关理论的教科书，本书视角新颖，从QA的角度阐述了机器学习产品的质量保障与工程效能，并侧重于机器学习测试方法如何在真实业务场景的落地。书籍内容丰富，章节设计循序渐进(机器学习、数据质量、模型评测、模型工程、智能测试)，内容讲解通俗易懂，并列举了大量真实案例(如：金融风控、智能推荐、图像分类等)，希望有助于读者学习、理解。——融360联合创始人、CTO 刘曹峰

闻道有先后，希望更多有志于精湛机器学习技术，完善机器学习方法的工程师能更早地看到这本书，从中获得体系化的总结，体悟作者的经验之谈，感受术业有专攻的进阶之路，并能应用到日常工作中，也都成为所在领域的技术专家。——阿里巴巴本地生活高级科学家　蒋凡

今天很高兴有这样一本书，告诉我们如何针对智能系统进行测试。例如，特征专项测试和模型算法评估测试。这方面的测试，也是人工智能测试的核心，也是本书关键的内容，分别讨论了模型蜕变测试、模糊测试、鲁棒性测试、可解释性测试等，其中还通过图像分类、智能推荐、金融风控等三个典型的业务场景中的模型算法评测实践，就这部分内容做更为详细的分析和解读，更好地让读者理解模型算法评测方法、流程和具体操作。——同济大学特聘教授、《全程软件测试》作者朱少民

不同于传统建模过程中的模型测试，本书从测试人员工作的角度，阐述了在机器学习产品研发中的数据获取、建模试验、模型上线、线上AB测试各个阶段，如何通过质量测试保障机器学习模型的正确开发上线。机器学习的质量测试不仅涵盖了系统稳定性、功能正确性、吞吐量等传统测试角度，而且需要覆盖数据正确性、模型精度、模型的线下计算和线上计算一致性等通常是算法工程师关心的问题。本书带来了丰富的机器学习产品研发中的一手实践经验和新颖角度，对于致力于人工智能产品研发的从业者有良好的启迪。——携程大数据与AI应用研发部负责人、VP 邹宇

和传统的机器学习相关书籍相比，本书更侧重于如何测试机器学习产品以及AI智能化测试的应用。本书内容丰富、案例详实，不仅阐述了数据分析、机器学习、大数据等基础知识，还对模型算法评估、特征测试分析、模型工程平台等做了原理讲解和案例分析。本书通俗易懂，又不乏实用性，非常适合希望入门机器学习、大数据测试的同学们。——快狗打车CTO、公众号“架构师之路”作者沈剑

人工智能发展如火如荼，机器学习堪称重中之重，会学习的机器下围棋、打游戏、自动驾驶都不在话下。测试是工程质量体系的必要环节，在还没有智能机器通过图灵测试的当下，如何对机器学习进行测试？怎样衡量人工智能的智商？又是否需要更高的人工智能？能用机器学习来测试机器学习的效果么？这样的问题似乎比机器学习本身还有趣，个中奥妙且看本书作者为我们现身说法娓娓道来。——贝壳金服2B2C CTO、公众号“IT民工闲话”作者史海峰

机器学习领域内的测试工作是一个较新的方向，测试体系建设尚在逐步完善的阶段。艾辉作为资深的AI测试团队负责人，在本书中较为系统地介绍了机器学习领域内的测试技术，并对机器学习模型与工程化测试等方面做了细致的展开，为AI测试工程师指明了学习路线。读完此书必定会对AI测试工作有更加全面的了解，对于拓展视野与实战都有较大帮助。——顺丰同城科技人工智能中心负责人徐明泉

随着大数据和人工智能技术的发展与普及，基于机器学习的解决方案在业务问题的建模和优化中发挥的作用越来越大，相关的对模型、特征、效果的质量保证也更加重要。相比工程架构和产品功能的质量保障，机器学习模型因为其非线性、敏感性，导致其质量保障问题难度更大。作者把自己在相关领域的长期项目经验做了总结呈现在本书中，预期会对相关同学有一定的启发和借鉴意义。——滴滴高级算法专家闫奎名

互联网已经进入下半场，而下半场的主角就是人工智能。作为人工智能当前最重要的领域机器学习，是一个相当新的领域，而基于机器学习的测试，却是少有人走过的路。做机器学习的公司不多，而专注做机器学习测试的团队更是凤毛菱角，艾辉和他带领的融360AI测试团队，在机器学习测试方面的实践和一线实战经验，在当下就显得难能可贵了。在人工智能正在爆发的今天，市场等一本专门讲述机器学习的测试技术的书等得太久了，所有渴望拥抱人工智能的测试同行们，书架上都应该摆上这本集合了融360 AI测试团队第一线测试经验的宝贵图书。建议大家第一时间翻完本书，在真正做人工智能相关测试时，时不时再拿来翻翻，看一看艾辉和他的团队的经验，相信会有很大的帮助。——Testin云测总裁徐琨

十年前我在阿里工作的时候就开接触机器学习模型的测试，当时针对算法模型的测试资料非常匮乏。现在十年过去了，整个互联网都已经运行在大数据处理、机器学习、深度学习、人工智能基础之上了，整个社会已经与这些技术深度融合。如何保证质量、评估效果已经是对社会发展具备重要影响的工作方向了。但因为种种原因对应的测试体系仍然未走出科研圈，艾辉团队的这本书及时弥补了这个空白，推动了算法模型测试、机器学习与AI测试的发展，期待未来测试行业会涌现更多AI测试的实践总结。——霍格沃兹测试学院创始人、测吧（北京）科技有限公司测试架构师黄延胜（思寒）

未来已来，我们所处的时代，已经和过去完全不同。人工智能和大数据技术已从顶尖科研技术的神坛转变为了切实可行的技术，随着技术使用门槛的降低，软件测试和软件质量领域也找到了与其相结合的契机，发展出了全新的智能化软件测试技术的分支，并且在业界得到落地和实践。本书系统性阐述了融360团队在这一测试前沿领域的探索和实践，采用由浅入深的知识结构体系设计，结合通俗易懂的语言，帮助读者抽丝剥茧，掌握其中的关键技术，是一本智能化测试技术入门和工程实践的好书。
——Dell EMC（中国研发集团）资深架构师、腾讯云最具价值专家 TVP、阿里云最具价值专家 MVP 茹炳晟

更多专家的精彩点评，请见本书序言、赞誉部分。

预售说明：预售首日（8.28），5折惊喜价，仅此一天，手慢无。

AI测试，当下有为未来可期：业界第一本AI测试秘籍重磅发布