田海立@CSDN 2020-10-06
AI Benchmark v4测试项更新以及榜单数据解读只是解释了AI性能数据获取的机制以及简单数据概览，仔细看一下榜单，发现另有玄机，也许下一刻榜首位置就会变化。本文简要分析一下海思麒麟990 5G的情势，也许这就是未来几个月的榜单尤其榜首的变化趋势。
我们把榜单soc数据拷贝下来，复制到Excel表格里，简单分析一下。这里只留取几大soc厂家的最顶尖芯片：
发现麒麟990 5G有两款，且除了被脚注为1非公开或原型实现的海思990 5G（No.2）与MTK天玑（No.1）之外，剩下的其他三款分值是差不多的。那好，这里就看一下天玑1000+与麒麟990 5G。
为什么会有非公开或原型实现的海思990 5G呢，这说明有人在做这方面的优化改进，而AI Benchmark也从某些渠道获取了暂时性的数据。
对比麒麟990 5G的这两个版本，发现：
- 量化的NNAPI1.2数据有较大的改善，但因为本来分数也不高，改善也不大；
- FP16的NNAPI1.2数据有极大的提高：5807-> 25766；
- 不管是量化的精度还是FP16的精度都在提高，这有变化就做实了确实在修改实现，而不仅仅是提升性能方面。
这些变化，从soc details信息（同样从官网获取的数据，直接拷贝到Excel）里更能看出来：
- 模型PyNet和U-Net的性能极大提升；
- 当然也有模型性能下降的SGAN、DeepLab v3以及Init Time（细节数据很长，没法完整截图展示，感兴趣可以自己去查询）。
所以希望最终是整体性能的提升，而不是此消彼长。
从以上数据来看，海思应该在有针对性的做优化，而且从目前的效果看成果很显著（从51.5K到77.3K）。那现在要做的就不是51.5仰望88.1了，而是77.3追赶88.1。
那就对比一下麒麟990 5G与天玑1000+的单项数据：
- CPU：A76 vs A77有天然代差，不过数据也不是差的太多，而且CPU所占的评分比例应该也不大；
- INT8数据：990 5G INT8做的性能是没那么好，NNAPI1.1的12037 vs 17595应该比较反应真实情况；NNAPI1.2的4530 vs 17493相差那么大，应该是1.2的模型里有算子支持有问题导致的，有很大的提升空间，不过这要看它的扩展性如何。
- FP16相关数据，从之前跑的FP16的能力看，990 5G应该也有提升空间。
当然这也得看具体评分体系中，CPU/INT8/FP16/Init等各种指标所占的比重。这方面确切的信息公开渠道还未公开，但估计华为、高通、MTK、三星等这些厂商应该已经得到了信息。
这里简要总结一下：
- 海思应该是在有针对性的做AI Benchmark上的优化工作；
- 且从目前透露的数据和对比情况看，目标应该是登顶榜首。
本文是根据现有数据的分析和大胆假设，当然具体情况如何，几个月内应该有答案，我们拭目以待。