链接：https://arxiv.org/pdf/2304.06035.pdf
作者：Julian Togelius and Georgios N. Yannakakis
随着大模型 和 大数据的出现， AI研究者 都会感到焦虑。 没有计算资源 ，没有标注的人力，很难做出突破性的研究。即使很多领域还没有出现大模型，但这个过程始终是在加速实现的。所以本文作者提出了一些想法。如作者最后所说的，(1) 分享一些想法给community，（2）提供一些guidelines ，讨论 学术届 与 工业界的AI赛道差异 （3）引发一些公开的讨论。
- Introduction
与公司比拼，对于研究人员（小作坊）来说 是不公平的。
- Engineering的问题。很多工程问题也不是一个phd或者postdoc能解决的。
- Scale的问题。 作者也提到了 Sutton 关于Bitter Lesson的例子，可能越简单的方法，scale大了，自然就好了，不需要很多ad-hoc的东西。
- 类似，你开小镇杂货铺，对门来了沃尔玛。
基于这种情况下，我们要继续推动AI的发展，继续做出有意义的研究。我们该采用什么策略呢？
（读者按：确实，数据 和 算力是核心问题。）
2. 放弃
一种策略是保证先活下去，即使投一些mid-tier 期刊和会议，保证 Funding的来源。没有必要大幅度改变轨道。
3. 我也做大
尝试用一些GPU 和 CPU 去做更大的事情。但和大公司相比肯定还是少很多的。 而且还有调试成本。
同时对于PhD学生他们科研训练，要求独立的paper，而不是一个多作者的工程技术论文。也不符合Phd的需求。
（读者按：要和学生的interest匹配，而且要考虑学生的能力。）
4. Toy Data万岁
做一些toy data上的实验，来探寻机制。
这一种方法的缺点是：虽然往往会很惊艳，但是实际没啥人care。
（读者按：我会想到一个我很喜欢Uber的 paper， coord conv 当时在reddit上有很多讨论。这个paper 的video还是很不错的。）
5. 拿来主义
拿来主义，打不过就加入。
但大模型是否足够general， finetune或者其他post-hoc分析往往不足以达到惊艳的效果。
（读者按：（1）可能大模型连inference都做不了，一张卡也放不下。（2）prompt learning 等也应算在其中，作者好像没提到。 ）
6. 分析大模型
其实目前我们也不了解大模型。可以从不同角度分析大模型，找到特别的点 或者机制。
（读者按：这方面我不了解，目前可能 也就 probe？ 和CAM？应该还有空间？）
7. RL不需要标注数据
RL 可能相对不需要标注数据，但RL的训练时间 仍旧比较长，而且有很多tricks。可能是个难点。
（读者按：我知道早期2017，2018确实是，需要一点技术，但近期我也不确定有没有好一些。早期也有人喷openai的demo不稳定，但后续也解决了？）
8. 小模型减少计算
考虑到部署， edge AI 是最直接的想法，减少碳排放。 知识蒸馏等。
（读者按：还有联邦学习等。 最近我们也有两个工作，一个是有针对地训练难样本，加速训练的。郑哲东：TIP2022｜领域迁移Adaboost，让模型“选择”学哪些数据！ ， 一个是用2.4M参数训练了一个小型reid网络 郑哲东：TNNLS22｜在3D空间，用点云数据学行人重识别特征）
9. 特定领域
不是工业界直接关注（直接挣钱）的领域，提前布局。但结果是你的paper很难中。
maybe 可以考虑自己办个会（就像deep learning在cvpr以前也不待见）。
（读者按：老lecun人了）
10. 很少人关注的问题
类似上一点，找不紧急也不sexy的问题。可以和身边不做AI的人讨论一下。
（读者按：就像mu神说的，impact可能就很小。）
11. 尝试一些不work的事情
工业界大家都会尝试一些work的东西，不会尝试 不稳的方法。很多AI的发现和idea也是来自于试错。
（读者按：嗯就像coordconv的motivation。find what CNN can not do）
12.做一些“有坏印象”的事情
公司还是有会限制，在意reputation （比较圣母一些）。这也是为什么大公司会让startup做一些实验性的尝试，而不是自己下场。相比之下，研究者更自由，只要不违法乱纪，可以探索更多东西。
（读者按：我们近期也开了一个ACM MM2023 Workshop关于无人机多媒体的讨论，欢迎大家投稿4页短文 郑哲东：ACM MM23 Workshop｜多媒体+无人机 ）
13. 产学结合
把实验室的想法 通过 公司落地。有很多好处，你可以知道实际的问题，获得实际的数据。
但这也不是完美的。需要考虑(1)很多科研方向不适合start up ，或者做一个产品出来；(2) 需要的转化时间比较长，需要一些功能性产品展示；(3) 投资依旧有限，仍旧不能做大公司的实验; (4)不是所有人都爱冒险
14. 和大公司合作
把实验室开到大公司里（或者派phd去实习）。 缺点是 IP专利 。 另外可能也没人想去你的组，如果整组人都在，有点变味儿了。
15. 工业界大佬 能做啥？
公司关注收益。学术界不是他们的interest。
最基础的开源代码/模型，仍会对研究者有益。
培养实习生，建立联系。
16. 大学能做啥？
大学应该鼓励创新。目前有影响力的paper仍旧多数与大学合作。大学应该鼓励faculty 来take more risks.
每年发顶会 paper 可能是不合理，相比之下 工业界的lab 更容易。
目前的 grants 也是喜欢 safe and incremental research on popular topics，但这也限制了 很难与工业界的lab 竞争。如果大学想改变，应该更鼓励失败，提升high-risk研究的比例 。