在年前，很有幸的参与到CSDN AI工程师学习路线图的制作当中。这件事情大体是年前一流科技的老师木联系我让我写一下AI工程师的一些进阶路线图。这件事情我很荣幸，但是也很忐忑，因为我相信我一定得罪了很多大佬，因为纯粹从技术上角度，我其实是没有资格出这个路线图的。如果真的要出这个路线图，可能一个人都不够，得是hinton，lecun这种大佬商量了很久以后出的。但是另一方面，目前有的一些路线图，至少在我看来，的确是很糟糕的。比如说NLP工程师路线图还是停留在TextCNN和BERT，那基本就意味着写这个的人可能真的只是从公众号了解技术进展的。所以我只能本着把我自己当个砖头一样抛出来态度。
我相信一定有很多人对于正确的路线有不同的看法，我个人也完全同意。根据自己的长处和短处、就业目标去制定路线图这才是正确的做法。如果任何人说明我误导了，我不会做任何解释，因为确实没有适合所有人的路线图。
所以下面我对路线图我的出发点稍微做一点点解释，目的没有别的，只是为了尽可能让大家不太收到我的误导而已。
- 按照道理来说，如果你是NLP工程师，那么就应该提升NLP工程师的核心能力，而不是首先上来先学CV。但是，在我的工作中，我发现不同领域的idea常常是互相影响的。比如说ImageNet预训练先影响了BERT类模型，Transformer又回到了CV。这种领域之间互相影响的例子是经常让我非常震惊的，这也是为什么我在组织自己公司的team时候，基本上招全了所有领域的人（Tabular，NLP，CV，RL，音乐，生成，逻辑和理论），因为我感觉不同领域的研究影响是很大的。
- 我在这里选的，基本上是我碰过的领域。我绝对不敢称自己为任何领域的专家，但是如果我完全不知道的领域，就是再重要我也不敢介绍。
- 在这里，我其实请教了特别多的大佬。很不幸的是，这些大佬很多由于公司策略关系，等于被我白嫖了方向。
- 关于Jax是带有很强的偏见的。我在工作中越来越发现，即使对于DeepMind这种公司，算力也需要去抢，所以在短时间内怎么做更多的实验，真的是提升自己产出的一个核心。但是大部分人不可能自己写一个深度学习框架（某个IBM什么明明号称三天写出来速度超越TF除外），所以只能选择在运行速度和开发速度的一个平衡。从这一点来说，Jax可能是唯一的选择。但是Jax毕竟太年轻了，以后发展是很难说的。所以这点也是有风险的。
- 我在高级部分列出了一大堆数学的东西，这一部分东西为什么很重要？这一点我要感谢袁会卓博士。我一直认为深度学习理论不可能有啥用，但是Neural Tangent Kernel的研究让我看到了很不一样的东西。这套理论还处于婴儿阶段，但是出来的结果已经有实效性，这可以说是很了不起的了。但是从一个数学角度来说，相比Neural Tangent Kernel和Optimal Transportation做深，借助于泛函分析、几何、算子代数、抽象空间上的各种概率论等等其实是很有希望的。这方面Le Cam已经做了一个很好的例子。
- **我极为反对所谓的现在研究离生产越来越远这种说法。**这种说法来源，姑且让我用小心之心度君子之腹，是因为研究的时候，作者只看了标题。比如说谷歌这个1.5个trillion参数的语言模型，如果就看到他很大，那这个研究的确p用没有。但是，如果你看到其中mixture of expert和mesh tensorflow的实现，这其实对于需要对语言模型进行各种操作的人来说是不得了的进展。同样的道理，在MAML这篇文章中，这个方法看起来只是meta learning用来灌水的，可是最近谷歌的meta pseudo label这篇paper实际上就带来了巨大的提升。所以很多时候，如果做的深，真的就到了研究前沿，这不代表一定能发paper，但是创新绝对是有可能甚至有必要的。
- 对于逻辑这一块的研究，我一直是非常看好的。对于很特殊的问题，比如说知识图谱推理，这方面采用狂加算力的方法是很难突破的。但是如果想要把逻辑做好，那么必须得能够对数理逻辑这个玩意本身有个了解，这也是为什么我加入了curry-howard isomorphism的原因，因为这样可以把各种数理逻辑跟各种lambda calculus连起来。
- 我一直的观点是，对于学习来说，最重要的是能力而不是会什么。去背诵api对于提高编程一点用都没有。所以C++程序员即使没学过python，可能也比纯粹没学过任何编程的人学得快。所以其实你学什么不重要，一直学就完了。
- 最后，我尽量把我能看到最新的东西都加了进来。但是这个领域发展太快了，每天我都能找到点我不知道的东西。所以我也跟CSDN的人说了，这个会一直更新，也算是倒逼我自己出东西的一个方式吧。
大概就是这样了。