Arm CEO Rene Haas interviews Jensen Huang On Leadership and AI‘s Industrial Revolution
英伟达黄仁勋：通向成功的道路并不是一个接一个的成就，而是巨大的挫折，甚至是令人尴尬的时刻
作者 | 黄仁勋
来源 | 蓝血研究（lanxueyanjiu)
NVIDIA 黄仁勋| 十月对话ARM CEO Rene Hass | 2024.10.10
近日，黄仁勋和 ARM CEO Rene Haas 有一个对话，关键信息如下：
1、英伟达公司虽然规模很大，却像是世界上最小的 “大公司”。黄仁勋一直强调，要信息透明地解释公司愿景、战略以及公司成功原因。他倾向于在信息透明方面犯错，而不是限制信息，要让每个人都清楚公司正在做什么。
2、英伟达是一家全栈计算公司，所以要打破组织的 “孤岛”，让所有的孤岛变得具有渗透性。公司真正的老板是 “任务”，它跨越整个公司。
3、作为英伟达创始人，必须习惯于 “痛苦和煎熬”。成功的旅程并不是一个接一个的成就，而是一个又一个挫折的故事，这是英伟达公司之所以强大原因。
4、架构兼容性非常重要，在架构上要有纪律性。例如，CUDA 理念不是因为有数百万人在为它编程，而是有几亿块与之兼容的 GPU。将来编写的所有软件都要在现有的安装基础上运行，必须维护它。英伟达会改变某些技术的部分来推动系统设计的进步，而不需要放弃昨天所做的一切。
5、“能效至关重要，这就是一切”。英伟达正在尽可能 “压缩” 单柜的功率密度，基于 GB200 单柜功率是 120 千瓦，后面会到 200 千瓦，有专家预测未来路标是一柜 1M 千瓦。英伟达会尽可能使用铜导电（单个机柜的密度压缩），除非不得不转向光信号（跨框联接）。所以，未来超节点和集群的供电、散热会越来越挑战，是核心竞争力之一。
6、面对摩尔定律逐渐失效的现实，黄仁勋强调英伟达通过 “协同设计” 来实现指数级性能提升。每年英伟达都会设计六七种新芯片，并改进系统架构，如引入 NVLink 交换机、3D 封装等技术，从而在相同的能耗和成本下实现两到三倍的性能提升，这种策略在很大程度上加速了 AI 计算的普及。
7、黄仁勋还提到，在塑造市场和引导行业发展时，“教学” 比 “广告” 更重要。英伟达通过教育市场、展示技术应用来获得更多用户和合作伙伴的支持。这种教学式的市场引导方式有助于让生态系统的各个参与者理解技术的价值，并逐步接受新的计算理念。
以下为这场对话的全部内容：
ReneHaas：见到你很开心。这次回到英伟达真是太棒了。我在这里工作的时候，这栋大楼还不存在呢。
JensenHuang：那是多久前的事了？二十年？
ReneHaas：我 2006 年开始在这里工作，2013 年离开。是的，差不多二十年前。这些大楼当时都还不存在。不过现在回来感觉依旧很亲切。感谢你抽出时间，邀请我来。
如今英伟达已经成长得如此之大，有件事我一直很感兴趣，就是公司的招聘文化确实非常独特。英伟达以一种独特的方式做事，你是如何识别那些在英伟达会取得成功的人才的？
JensenHuang：我们并不总是能做到这一点。看看你就知道了，这其实总是有点碰运气的成分。我认为面试并不是评估一个人是否合适的最佳方式。
每个人都能在面试时表现得很出色，甚至可以通过观看 YouTube 学习如何面试。当然，技术性的问题，我们会尽可能严格和困难，但这并不容易。我个人的做法通常是回到参考检查，询问我本来打算问候选人的问题。
因为你总可以在某个时刻表现得很出色，但你无法逃避你的过去，所以这种方法还不错。我喜欢问一个深入的问题，然后观察他们的思维过程。
但最终，英伟达对很多人来说都是成功的。正如你所知道的，我们的流失率非常低，公司内部非常多元化，有很多有趣的人和背景。我们有来自几乎所有顶级公司的员工，并且我们在这里让他们都能成功。
因此，从某种意义上说，建立伟大的公司一方面是找到优秀的人才，另一方面则是创造条件，让这些人超越他们自己的预期。
这很大程度上取决于我们对英伟达的愿景和战略进行的透明解释。我花了很多时间在这方面。公司一直以透明著称，会解释我们面临的挑战、机会以及执行的战略。信息在公司内部流通得非常顺畅，大家都清楚公司的战略是什么。
我总觉得，当公司有太多的分隔或需要知道的基础时，情况会有点奇怪。当然，人们确实不需要了解他们不需要知道的事情。但他们知道得越多，就越有能力为公司做出正确的决策。
所以我倾向于更透明，倾向于赋予员工更多的权力。因此，公司成了世界上最小的大公司。这种高生产力来源于我们拥有的 3 万多名员工，他们每天都在做出数百个决定。
如果所有 3 万名员工都在同一个方向上，即使是在模糊的情况下做出决策，但他们的选择都是为了公司的长期最佳利益，那么这种积累是非常有意义的。
ReneHaas：其中一个让我总是惊讶的事情就是，你提到的那一点 —— 我不知道这是因为招聘到合适的人还是自我选择的结果，但拥有那些在面对不确定性时非常自信的高级领导，并且你会深入公司各个层级，把正确的人召集到一起，解决问题。这是如何形成的？
公司成长过程中，你和愿景一致的高级领导一起成长，这一文化自然而然地形成了吗？因为这真的很令人惊叹，当我在英伟达工作时，许多高层领导都非常适应这种情况，你能够直接找到合适的人，一起解决问题。
JensenHuang：首先，我没有特别询问他，你记得我也记得。而这是因为有些事情是显而易见的，不需要去征求许可。
所以我们设置这样的方式，是因为英伟达从一开始就是设计成一个全栈计算公司，我们的目标是构建 GPU、CPU、网络芯片和交换机，我们会设计芯片架构，开发系统软件，创造算法，甚至求解器。
如何组织这样的事情呢？一方面所有东西必须协同工作，另一方面又需要分阶段构建。因此，我们解决这个问题的方法是，避免组织上的孤立，将组织视为一个地方，领导者可以培养人才，为他们创造成功的条件，帮助他们排除障碍等等。
而真正的老板是任务本身，它横跨整个公司，涉及系统、芯片、网络交换机、软件和算法等领域。通过这样的组织方式，我们还实现了透明化，打破了各个孤立的部门。
组织结构越开放，往往会越好，因为有更多人可以帮你批评和改进。我非常喜欢我们公司的开放性，一切都是透明的，每个人都在帮助我改进。
ReneHaas：差点就被你们收购了，那应该会很有趣。但你们收购了 Mellanox。
JensenHuang：你还为此难过吗？
ReneHaas：是啊，每天我都会小小地伤心一下，但我还是在这里，谢谢。
JensenHuang：但你们表现得非常好。
ReneHaas：你们收购了 Mellanox，这不仅在战略上是一次极好的收购，而且从外部来看，你们的执行看起来非常无缝。这样的整合是怎么做到的？并购过程通常非常艰难。
JensenHuang：确实非常艰难。首先，Mellanox 管理团队中有十到十二人现在是英伟达以色列管理团队的成员，参与了公司高层会议。
我们涵盖了架构、研究、软件系统、芯片、网络接口控制器和交换机。我们现在有 NVLink 交换机，最初只有 Infiniband 产品线，现在还有完整的以太网产品线。
在这短短的时间内，Mellanox 的产品组合已经增长了四倍，并整合到了我们所做的每一个方面。
如果你回顾这次转型和收购，我们的愿景是计算单元不再仅仅是一个 GPU（以前是辅助设备）。
实际上，收购帮助我们从算法公司，也就是 GPU 公司，过渡为一家真正的计算公司。这是我们进入的第一步。
最初，构建 SoC（片上系统）对我们来说并不容易，现在我们已经做得很好。接下来的演进是构建系统，DGX1 是我们的第一个产品。我对 Shield（我们的 Android 电视）也非常有感情，因为它是我们最初创建的完整系统。
ReneHaas：开发 Shield 的过程肯定很令人难忘。当时我们还在摸索如何做到这一点。
JensenHuang：是的，它至今仍是最受欢迎的 Android 电视盒。回想起来，当时它就像是 PlayStation 或 Xbox 控制器带显示器，我们都在思考如何实现这一切。这是英伟达最让我喜欢的产品之一。
ReneHaas：几乎都快忘了这段经历，但这确实是个系统性学习的过程。
JensenHuang：我学到了很多，至今我们还在维护相关的软件。
ReneHaas：最初很难看出市场对此有需求，团队突然需要为整个产品线采购零部件，真是让人措手不及。
JensenHuang：这是我让英伟达转型为系统公司的借口，DGX1 是改变一切的计算机。
ReneHaas：很大的 Shield。
JensenHuang：没错。所以对我来说，虽然 Shield 是用塑料做的，而 DGX1 重达 600 磅，这种转变并不算什么大事。真正重要的是，我们现在能够构建系统。
而当我们收购 Mellanox 时，真正的理念是计算机不再仅仅是一个节点，而是整个数据中心成为计算的单位。
如果你不设计好 GPU、CPU、网络接口、交换机、所有的收发器，并把它们全部连接在一起，能够从无到有启动这个系统，将所有组件有序地运行并分布工作负载，那么你就无法真正理解构建这些 AI 超级集群的意义。
这个转型和愿景非常清晰，以至于能够团结两支团队。为了凝聚团队，你需要有一个非常清晰的愿景，对吧？
我们的愿景非常明确，而且这个愿景也是非常具体的，因为你可以看到它在你面前运行，有超级集群，有来自两家公司的所有设备，所以这个愿景是清晰且鼓舞人心的。
对于 CEO 来说，需要将抽象的事物变得具体化，然后我们就去构建它了。不仅如此，我也认为他们的文化也很棒。
ReneHaas：这种清晰性确实帮助很大。不过回到愿景本身，还有一个故事我想说说，比如早期 CUDA 的应用追逐油气行业，这完全不明显。
JensenHuang：大家当时并没有意识到，那其实是我们的第一个项目。
ReneHaas：确实，那是第一个，完全看不出真正的杀手级应用或最终状态是什么。然而，你们对早期的创意和实验展现了惊人的韧性，哪怕市场似乎没有准备好，甚至对这个定义还不明确。这是直觉的体现吗？还是说这种能力从何而来？
JensenHuang：我们确实有很好的直觉，你知道，公司成立以来有大约十次这样的时刻。英伟达的优势在于我们周围都是非凡的人才，世界上最优秀的计算机科学家、战略家和商业人士，他们没有自负之心，想要做伟大的事情。
我认为我们起点很好。其次，我们的直觉也很好，特别是在判断哪些问题需要解决，以及如何从现在走向我们想成为的公司。我们对于要实现的各种阶段性目标有很好的直觉。
比如当有人问我，为什么要打造 Shield，这不是浪费时间吗？我说，总有一天我们会成为一家系统公司，而所有这些系统都会连接到云服务上。为什么要在最庞大的系统上消耗精力，不如先做这个小的。
如果我们连这个都做不好，那么更大的就更不用说了。我们需要为公司创造条件，让它可以学习新技能、尝试失败，而不会对自身造成损害。
ReneHaas：这种情况只有在公司领导者是创始人的时候才能发生吗？毕竟，很少有公司能做到你刚才描述的这些，无论是在愿景的清晰性方面，还是在持续理解前进方向的韧性上。最近关于 “创始人模式” 和 “管理者模式” 的讨论很多。
显然，你作为创始人，在公司成立 30 年后仍然领导着公司，并取得了巨大的成功。那么，你所描述的这种成就是否只能由创始人领导公司时才能实现？
JensenHuang：我不这么认为。我认为你在 Arm 做得很出色。看到你在工作时的表现，我非常自豪。
ReneHaas：这是真的，我从你身上学到了很多。
JensenHuang：看到你工作让我感到快乐和骄傲。我不认为只有创始人能做到这些。我认为确实需要极大的韧性和坚持。我通常把它描述为痛苦和折磨，这是成长的过程。痛苦和折磨是不可避免的，我深有体会，而且你必须习惯这种感觉。
通向成功的道路并不是一个接一个的成就，而是有巨大的挫折，有时甚至是令人尴尬的时刻。 作为 CEO，你还没经历这些，但它会发生。我希望它发生，因为这对你有好处。
你知道，那些时刻，我不确定学到了什么，但它确实让我变得更强大。我知道我可以挺过去。当时我可能不喜欢这些经历，但回头看，那些就是让你为自己和公司感到骄傲的时刻。
所以我认为我们的公司之所以强大，是因为我们有很多这样的故事。这家公司里充满了一次又一次挫折的非凡故事。
ReneHaas：而且经历过这些的领导者很多。
JensenHuang：是的，大多数人都会觉得：“这不算什么，这比起以前的某个挫折轻多了。” 每次遇到挑战时，我们都会想起那些更艰难的时刻，反而让公司更有能力应对当前的挑战。
ReneHaas：你我在这个行业的时间差不多长。现在 AI 的某些进展让我感到，这是我以前从未想过的，我原以为只有下一代人才能见证这种变革。现在的感觉，就像进入了 “终极前沿”，我无法想象 AI 之后还会有什么。
你怎么看？我们是不是加速进入了一个前所未有的变革时期？还有什么能在这之后到来吗？现在所看到的一切真是令人难以置信。
JensenHuang：我一直认为计算机会表现出智能行为，我们可以编写出非常好的软件，我以为我们会手动编写这些算法，让它们最终解决问题，使得计算机看起来很智能。但我从未想过这会引发一场工业革命。
我的意思是，你听我说过的，现在计算机行业首次超越了传统的计算机行业。我们不再仅仅是一个工具或仪器，而是一个制造行业。就像现在，我们的手机在口袋里没有被使用时，它对我们没有任何作用。
大多数计算机也是这样的，比如我的笔记本电脑放在办公室时没在运行。你需要工具时，才去使用它。
然而，现在的 AI 工厂则不一样，这是我们正在构建的一个新行业，它们始终在运行，无论你是否在使用。它们在处理数据、生成 “智能代币”，以非常大规模制造智能。这种计算机从工具转变为制造设备，并大规模生产极有价值的东西，这是一次全新的工业革命。
ReneHaas：你参与了从 AlexNet 到 DGX1 的整个过程，见证了这一切。AI 的进展速度比我想象的要快得多，比两年半前甚至一年前的预测要快得多。作为其中的核心人物，这是否比你想象的还要迅速？
JensenHuang：我们正努力加快进展，现在已经进入了一年一个周期。原因是技术有机会快速发展，特别是因为我们现在不仅仅是在制造芯片。
芯片的进展速度是有限的，就算使用新工艺节点，能够获得几个百分点的提升已经很了不起了。那么，我们如何在每一代中实现指数级的性能提升呢？
我们的方法是为每个系统设计六七种新芯片，然后通过协同设计重新发明整个系统，发明新的东西，比如 NVLink 交换机、新的系统机架，使我们能够通过系统的整个背板驱动铜缆连接所有 GPU，以及使用大型封装、3D 封装等各种技术。
通过这些技术手段，我们每年可以在相同的能量和成本下实现两到三倍的性能提升。这也相当于每年将 AI 的成本降低两到三倍，这个速度远远超过摩尔定律。
因此，如果你将这种进步持续五六年甚至十年，我们就能够极大地降低智能计算的成本。
我们之所以这样做，是因为现在大家都认识到了这一技术的价值。如果我们能够大幅降低成本，我们可以在推理时做一些事情，比如推理过程。
像现在使用 ChatGPT 时，它加载提示并生成输出。但未来，它将会迭代推理出答案，或许会进行树搜索，也可能会自我反思答案，最终得出结果。
它可能会进行数百次甚至上千次推理，但答案的质量会显著提升。我们希望降低成本，以便能够以与过去相同的成本和响应速度提供这种新的推理推理。
ReneHaas：我看到过 OpenAI 模型的演示，它进行推理时令人震惊。它使用了逻辑树，做出了权衡决策，就像人类一样，但速度完全超越了人类的思考方式。
ReneHaas：现在情况更有趣了。你们正在以一个前所未有的速度引入系统和整个数据中心基础设施。以前 CPU 每两三年更新一次，最终被折旧。现在你们每年都在构建系统，人们都迫切希望尽快部署这些系统。
JensenHuang：是的，现在说起来很简单，但你知道，我们每年都在交付像这个房间大小的新计算机，包括所有的电缆、网络、交换机、软件，这真的很疯狂。
ReneHaas：我想问一个更具前瞻性的问题，这不仅仅是技术吸收的问题，这样的速度还能继续保持吗？
JensenHuang：我认为可以，但必须以系统化的方式进行。也就是说，我们在架构上的一切操作都要系统化。这意味着为昨天的集群（比如 Hopper）开发的软件也可以在 Blackwell 上运行，并且 Ruben 上的软件也可以运行在 Hopper 上。
这种架构兼容性非常关键，因为行业在软件上的投资是硬件的 1000 倍，而且软件永远不会过时。如果你开发了软件，并发布了它，那么你就必须一直维护它。所以，CUDA 的想法不仅仅是有数百万人在为其编程，而是数亿个兼容的 GPU，软件不会消亡。
ReneHaas：软件永远不会消亡。
JensenHuang：所以，你在一个 GPU 上的投资可以延续到所有其他 GPU 上。今天编写的所有软件将来会变得更好，未来的所有软件也能在现有的安装基础上运行。
因此，首先我们必须在架构上保持严谨。其次，即使在系统层面，我们也能在不抛弃之前成果的情况下改进技术。
例如，当我们首次进入数据中心业务时，超大规模数据中心的电力分配大约是每机架 12 千瓦。而 Blackwell 的电力分配是每机架 120 千瓦，是密度的 10 倍。
当然，密度的提升使得服务器数量减少了数百万台，全部压缩到一个机架中，因此节省的能量、空间简直是不可思议的。
ReneHaas：这与我们的故事很相似。Arm 架构已经存在了 30 年，为它编写的软件也有几十年了。这是人们有时没有意识到的。
JensenHuang：没错，我们关心每一个 Arm 芯片上的开发成果。最近有人做了基准测试，Grace 每瓦性能是世界上最好的 CPU 的四倍。是的，能效至关重要。
ReneHaas：是的，这一切都很重要。你认为当数据中心从 500 兆瓦增长到 5 吉瓦时，从架构角度上是否会出现什么问题，比如网络延迟之类的？不涉及机密内容的话，从物理的角度来看，是否会开始出现一些瓶颈？
JensenHuang：当然会，一切都会遇到问题。物理规律必须遵循，这就是挑战所在。首先，我们正在快速推进功率密度曲线，从 12 千瓦到 40 千瓦，再到 120 千瓦，这还会继续增加。因此，我们尽可能地压缩和提高计算密度。
在这个过程中，液冷的效率更高，并且我们可以更长时间地使用铜缆。尽可能长时间地使用电传输是有利的，因为一旦转换为光传输，成本和复杂性都会增加。
所以，我们会尽量保持电传输的状态。这种策略更加经济高效、节能且可靠，因此我们会继续提高密度。
另一个提高密度的好处是，位于同一机架或相邻机架的所有 GPU 可以像一个统一的设备一样运行，真是相当惊人。
ReneHaas：我一直很好奇，Jensen，你在 Computex 的主题演讲。我记得你有一次是在星期天晚上进行的，演讲内容的体量和深度令人难以置信。
作为一个也会做主题演讲的人，我的内容远没有那么长和深入，我真的很佩服你是怎么做到的。
你是进行了大量的排练吗？我记得当我们以前一起工作的时候，有时会在演讲前一天晚上还在修改内容，你依然能出色地完成。现在你的演讲尤其涉及数据中心架构，并且涵盖了更多内容，你是如何准备这些的？
JensenHuang：我们每天都在为此准备。我们的工作和演员不同，实际上我们是在生活中做这些事情，对吧？所以首先，我们每天都在准备。
坦率地说，我们所做的很多事情本质上是教学，为了引导行业、塑造市场并引入新思想，我们的工作很多是教学。
我们不是做广告，因为我们是一个平台公司，这意味着我们不能独自完成我们的工作，需要其他人的参与和合作。
所以，我们的工作是教学、启发、展示、演示，并希望一步步地吸引更多人加入，从 CUDA 的早期，到今天的英伟达加速计算，以及 AI 的发展旅程。
现在，我们正在研究的下一个大事是 “物理 AI”，即如何让 AI 既遵循物理规律，又理解物理规律。
我认为这个旅程相当漫长，而 GTC 和 Computex 给了我们这样的机会，让我们庆祝我们的生态系统和他们的成果，启发他们展望未来。
ReneHaas：很相似。我做季度业务回顾和演讲时，团队会说，幻灯片很简单，感觉是你整天都在讲的东西。我会想，怎么可能不一样呢？但事实上还是很难的。
JensenHuang：说实话，确实不容易。因为我们实际上没有时间排练。并不是因为我们选择不排练，而是当所有内容都准备好时，已经没有时间去排练了。所以，我们只能 “即兴发挥”。
黄仁勋新访谈：OpenAI 是这个时代最具影响力公司之一，马斯克 19 天创造工程奇迹
来源 | 机器之心
导读 10 月 4 日，播客节目 BG2（Brad Gerstner 和 Clark Tang）邀请到了英伟达 CEO 黄仁勋，他们一起讨论了 AGI、机器学习加速、英伟达的竞争优势、推理与训练的重要性、AI 领域未来的市场动态、AI 对各个行业的影响、工作的未来、AI 提高生产力的潜力、开源与闭源之间的平衡、马斯克的 Memphis 超级集群、X.ai、OpenAI、AI 的安全开发等。
近日，BG2 发布了这期播客节目。
主要内容包括以下几大部分：
- AGI 和个人助理的进化
- 英伟达的竞争优势
- AI 推理和训练的未来
- 构建 AI 基础设施
- 黄仁勋：OpenAI 是我们这个时代最具影响力的公司之一
- AI 模型的未来
- 黄仁勋谈 xAI：别人用 4 年完成的事情，埃隆用了 19 天
- AI 在业务增长和提升生产力方面的作用
- 确保安全的 AI 开发
01 AGI 和个人助理的进化
Brad Gerstner： 今年 AI 领域的主题是「向 AGI 扩展」。我们先进行一个思想实验：如果我把 AGI 看作是口袋中的个人助理，它知道有关我的一切，可以与我沟通、帮我订酒店、预约医生…… 你认为我们什么时候能有这种形式的个人助理？
黄仁勋： 很快就会以某种形式实现（soon in some form）。这种助理会随时间变得越来越好。这就是技术之美。开始时它会变得很有用处，但并不完美，然后它会越来越完美。
Brad Gerstner： 伊隆・马斯克曾经说过真正重要的是变化速度（rate of change），看起来变化速度已经提升了很多。你认为现在是变化速度最快的时候吗？
黄仁勋： 确实是。我们已经重新发明了计算，因为我们已经在过去 10 年中将计算的边际成本降低了 10 万倍，而按照摩尔定律预测，这个倍数应该是 100 倍左右。我们通过多种途径做到了这一点。一是引入了加速计算 —— 将在 CPU 上效率不高的计算放到了 GPU 上。我们还引入了新的数值精度、提出了新的架构、发明 Tensor Core、NVLink 和 InfiniBand、HBM 高速内存。这些加在一起并大规模扩展，可说是实现了超级摩尔定律的创新速度。这样带来的一个惊人结果是从人类编程迈向了机器学习，而机器学习的速度很快。这其中要用到张量并行化、工作流程并行化等各种并行化，这能帮助我们更快地发明新算法。
回顾过去，在之前的摩尔定律时代，软件是静态的，硬件以摩尔定律增长。后来，我们更多谈论的是软件的扩展（scaling）—— 比如模型大小和数据集规模的扩展。如果模型大小和数据集都增加一倍，那么所需的计算能力要增长 4 倍。而现在，我们又开始谈论后训练和推理阶段的扩展了。以前人们觉得训练很难，推理很简单，但现在一切都变困难了。
人们现在也在研究快速思考和慢速思考的概念，还有推理、反思、迭代和模拟等等。
02 英伟达的竞争优势
Clark Tang： 我们知道也有人在研发新芯片，有时候他们能做出一些浮点数更高或者其它性能更优的芯片。但英伟达有自己的「护城河」，那就是你们拥有从硬件到软件的整个堆栈。你觉得这三四年来你们的护城河是变大了还是变小了？
黄仁勋： 有更高算力的芯片确实很重要，但不幸的是，那是老式思维 —— 认为软件是静态的，改进系统的最好方法是生产更快的芯片。但我们认识到机器学习不是人类编程，它并不只与软件有关，而是涉及整个数据管道。机器学习就像是一个飞轮，能让数据科学家和研究者更有生产力，而很多人没有认识到：一开始启动这个飞轮的是让 AI 去调整数据，而那个 AI 本身就已经很复杂了。
现在我们有合成数据生成以及各种调整数据的方法，这方面的 AI 也越来越聪明。也就是说在训练之前，就已经涉及到大量数据处理了。很多人认为 PyTorch 就是一切了，但不要忘了，PyTorch 之前有大量工作，PyTorch 之后也有。
这就像是一整套飞轮。我们需要设计一个计算系统让这个飞轮尽可能有效地运转。训练只是其中一环。而这个飞轮的每个环节都很困难。OpenAI、X、DeepMind 他们做的事情并不简单。就算你能加速其中一个环节，也并不代表你能够加速整个流程。而我们能够加速整个流程。
以物理 AI 和视频处理系统为例，每秒处理的数据量可高达 TB 级。我们需要一个工作流程将这样庞大的数据变成训练可用的数据，而这个过程可以使用 CUDA 来加速。
Clark Tang： 现在人们主要关注文本模型，但未来是视频模型以及 o1 这样的文本模型。这都需要在得到结果之前处理大量数据。
黄仁勋： AI 行业投入了海量技术和努力来训练语言模型，而现在我们可以在每一步都使用 LLM。
Brad Gerstner： 也就是说，从整个流程上看，英伟达的优势比三四年更大了。也就是在整体堆栈方面，你们在改进每一个组件。但是其它企业有什么优势吗，比如英特尔？
黄仁勋： 英特尔是一家了不起的公司，因为它可能是第一家非常擅长制造过程工程、制造的公司。他们设计生产了越来越快的 x86 芯片。我们公司的不同之处在于，我们认识到，并行处理并不需要每个晶体管都是很棒，而串行处理需要每个晶体管都很棒。
并行处理需要大量晶体管才能更具成本效益。我宁愿多 10 倍的晶体管，但每个晶体管慢 20%，也不要晶体管减少 10 倍，速度提高 20%。而他们的想法刚好相反。
并行计算和并行处理很难，因为每个算法都需要不同的重构方式和架构算法。
我们彻底改变了深度学习，因为我们开发了一个软件库 cuDNN。但人们很少谈论它，因为它在 PyTorch 和 TensorFlow 等工具框架的下面一层，我们还有其它特定领域的软件库，比如 cuQuantum、RAPIDS。
如果我们没有发明这些算法，那么那些应用就无法运行。所以数学才是英伟达真正擅长的算法。在上层科学和底层架构之间的融合，才是我们真正擅长的地方。
03 AI 推理和训练的未来
Clark Tang： 现在人们都在关注推理。你认为现在我们处于推理时代吗？
黄仁勋： 其实训练就是大规模推理。如果训练得很好，那么推理也会做得很好。如果你基于这个架构构建，那么就能在这个架构上运行，当然你也可以针对其它架构进行优化。
当然，在资本投入方面，当你训练新模型时，你希望用你最好的新设备进行训练。而你之前的设备可以用于推理。这对你来说就是免费的。为此，我们非常重视确保兼容性，这样旧设备也能出色地发挥作用。
我们也投入了大量精力来不断地重新发明新算法，这样当时机成熟时， Hopper 架构会比他们购买时好两、三、四倍。但同时，你的基础设施仍然能有效运行。
因此，我们在改进算法和框架方面的所有工作都有助于各种安装基础。Sam 告诉我他们刚刚停用了 OpenAI 的 Volta 基础设施。另外，我们也希望在云端创造的东西也能在边缘设备上完美地运行，所以这种架构兼容性很重要。
为训练 LLM 设计新架构让我们受益，我们也在思考如何在某一天创造出优秀的推理架构。
04 构建 AI 基础设施
黄仁勋： 如何构建优秀的推理模型架构，以便在将来某一天实现高效的推理能力。
我们一直在思考如何设计迭代型推理模型，以及如何创建具有交互体验的推理模型。对于个人智能体，你肯定不希望它在回应你之前需要长时间思考，而是希望它能够快速与你互动。
因此，我们设计了 NVLINK，这样一来，当训练完成后，这些系统在推理性能上也表现得非常出色。
我们的目标是优化首个 token 的响应时间，实际上这是非常难以实现的。因为第一个 token 需要大量带宽， 而且如果你的上下文也很丰富，那么你就需要大量的浮点运算（FLOPS）。因此，为了实现几毫秒的响应时间，你需要无限的带宽和无限的 FLOPS。这样的架构真的很难实现，我们为此发明了 Grace Blackwell NVLink 。
Brad Gerstner： 早些时候我和 Andy Jassy 共进晚餐，Andy 说 NVIDIA 是非常重要的合作伙伴，未来也是，世界依赖于 NVIDIA。
所以，当你考虑到正在建造的定制化 ASIC，可能是 Meta 的推理加速器，或者亚马逊的 Trainium，还有谷歌的 TPUs，考虑到现今的供应短缺，这些情况是否改变了这种动态？
黄仁勋： 我们正试图做不同的事情。正如你所知，NVIDIA 正尝试为这个新的世界 —— 机器学习世界、生成式 AI 世界、智能体世界 —— 构建一个计算平台。
在经历了 60 年的计算技术发展之后，我们彻底改革了整个计算堆栈，从编程到机器学习软件编写方式，从 CPU 到 GPU 的软件处理方式，从传统软件到人工智能的应用转变，从软件工具到人工智能的转变。因此，计算堆栈和技术堆栈的每一个方面都已经发生了变化。
我们想要创建的是一个无处不在的计算平台，这实际上是我们工作的复杂性所在。
如果你考虑我们所做的事情，我们正在构建一个完整的 AI 基础设施，并将其视为一台计算机。
我曾经说过，数据中心现在是计算的单位。当我想到一台计算机时，我不只是想到那个芯片，我想到的是整体，包括软件和内部的所有机械设备，这是我的计算机。我们每年都在尝试构建一台全新的计算机，这是之前从未有人做过的事情。我们每年都能交付两到三倍的性能提升，每年将成本降低两到三倍，每年将能效提高两到三倍。
因此，我们要求我们的客户不要一次性购买所有设备，而是每年购买一点。这样做的原因是，我们希望他们能够将成本平均分摊到未来。所有这些都是架构兼容的。
Brad Gerstner： 是什么促使你每年都这样做
黄仁勋： 整个电子生态系统如何致力于与我们合作，最终构建一个集成到各种不同生态系统中的计算机方块，并且协调工作非常流畅。
显然，这涉及 API、方法论、商业流程和设计规则。
我们发明了庞大的计算基础设施，它被整合到了每一个地方，可以通过 Dell 或 HP 销售，也可以在云端托管，甚至应用于边缘计算，人们在机器人系统中使用它，包括人形机器人和自动驾驶汽车，所有这些都是架构兼容的。
至于我们公司，我们不是为了从别人那里夺取市场份额，而是为了创造市场。如果你看看我们公司的介绍，你会发现我们从不谈论市场份额，我们讨论的全是如何解决下一个问题，如何做得更好，如何加快从一年缩短到一个月的速度。我们考虑所有这些不同的事情，但我们非常清楚我们的使命是非常单一的，唯一的问题是这个使命是否必要。所有伟大的公司都应该具有这样的问题：你在做什么，它是否必要，它是否有价值，它是否有影响，它是否帮助了人们。
作为一位开发者，如果你是一个 AI 初创公司，正在决定如何成立公司，你唯一不需要做的选择是支持哪一种 ASIC。如果你支持 CUDA，你可以走向全世界，以后也可以随时改变主意。我们是进入 AI 世界的入口，一旦你决定加入我们的平台，其他的决定可以推迟，你总是可以稍后自己构建 ASIC，我们对此并不反感。
我们与各大云服务提供商（例如 Google Cloud Platform、Azure）合作时，我们会提前几年向他们展示我们的路线图，尽管他们不会向我们展示他们的 ASIC 路线图，这也不会让我们感到被冒犯。我们的路线图在 GTC 上是透明的。即使合作伙伴正在构建自己的 ASIC，我们也没有任何问题。
Brad Gerstner： 你最近说过人们对 Blackwell 的需求简直疯狂。你说你工作中最困难的部分之一是在计算资源短缺的世界中向人们说「不」。回想 2023 年初，那时对 Nvidia 全年的预测是 260 亿美元的收入，但实际上你们做到了 600 亿美元，是吧？
那是在 2022 年 11 月，有人告诉我如果你无法算出投资我们公司的利润，那就买 Nvidia 股票吧，因为全世界的人都在试图获取 Nvidia 芯片来构建将改变世界的应用程序。当然，ChatGPT 的出现标志着新纪元的到来。
你曾用非常简单的英语说，Blackwell 的需求是疯狂的，而且将来也会这样，尽管未来是未知且无法预测的。
黄仁勋： 谈论未来最好的方式是从基本原理出发进行推理。那么问题来了，我们正在做的事情的基本原理是什么？
首先，我们在做什么？我们正在做的第一件事是重新定义计算，未来的计算方式将高度依赖机器学习。
现在几乎每一个应用程序，比如 Word、Excel、PowerPoint、Photoshop，它们都是手工设计的。我向你保证，未来它们将高度依赖机器学习，而且还会有智能体帮助你使用它们。
所以，我们现在可以肯定地说，我们已经重新定义了计算，整个计算技术堆栈正在被重新定义。此外，软件将会有所不同，软件能写的内容将会有所不同，我们使用软件的方式也会有所不同，所以这些都是基本事实了。
05 黄仁勋：OpenAI 是我们这个时代最具影响力的公司之一
Brad Gerstner： 众所周知，OpenAI 最近筹集了 65 亿美元，估值约为 1500 亿美元。
据报道，他们今年的收入或运营收入约为 50 亿美元，明年可能达到 100 亿美元。如果你看看 OpenAI 现在的业务，其收入大约是谷歌首次公开募股时的两倍。他们大约有 2.5 亿的周平均用户数，我们估计这是谷歌 IPO 时的两倍。
请和我们谈谈 OpenAI 作为合作伙伴对你的重要性，以及 OpenAI 作为推动公众对 AI 的认识和使用的重要作用。
黄仁勋： OpenAI 确实是我们这个时代最具影响力的公司之一，一家纯粹追求通用人工智能（AGI）愿景的 AI 公司。不管它的定义是什么，我几乎认为定义本身并不完全重要。在它达到任何人对 AGI 的定义之前，我们将会把它用到极致。
你所要做的就是去和数字生物学家、气候技术研究者、材料研究者、物理科学家、天体物理学家、量子化学家交谈，去问视频游戏设计师、制造工程师、机器人学家他们的感受。
无论你想选择哪个行业，深入其中和那些重要的人交谈，问他们人工智能是否已经革新了他们的工作方式。然后你收集这些数据点，你对此持有多大的怀疑态度。因为他们讨论的不是人工智能作为一个概念上的好处，他们是在讨论现在就在使用的 AI 所带来的好处。
现在，农业技术、材料技术、气候技术等等正在进步，AI 正在帮助研究者推进工作。现在，正如我们所说，每一个行业、每一家公司、每一所高校，将以某种方式改变业务。
这种改变今天就发生了。所以，我认为 ChatGPT 的觉醒引发了这一切，这完全令人难以置信。我喜欢他们的速度和他们推动这一领域发展的独特目标，这真的意义重大。
06 AI 模型的未来
Brad Gerstner： 他们在经济引擎中构建，以资助下一个模型前沿。我认为硅谷日益达成的共识是整个模型层的商品化正在使得很多人能够以非常低的成本构建模型。所以早期，我们有很多模型公司。很多人质疑这些公司是否能构建在经济引擎上的逃逸速度，继续资助下一代模型。我个人认为，这就是为什么你看到了整合。显然，OpenAI 已经达到了那种逃逸速度，他们可以资助自己的未来。对我来说不确定的是，其他公司是否也能做到。
黄仁勋： 首先，模型和 AI 之间存在根本的不同。模型是 AI 的一个基本成分。它是必要的，但不是充分的。比如用于自动驾驶汽车的人工智能与用于人形机器人的人工智能相关，但并不是一样的。
因此，你必须了解分类。现在你只需将模型一词替换为 GPU。
有些公司非常擅长制造 GPU，但却不知道如何成为一家加速计算公司，现在不止一家公司在制造 GPU，但它们并不是加速计算公司。尽管有些加速器可用于应用加速，但这与加速计算公司是不同的。
你必须决定你想成立什么样的公司，在不同领域可能都有机会。但就像创建公司一样，你必须留意生态系统的变化以及随着时间的推移哪些东西会被商品化，认识到什么是功能，什么是产品，什么是公司。你可以用很多不同的方式来思考这个问题。
07 黄仁勋谈 xAI：别人用 4 年完成的事情，埃隆用了 19 天
Brad Gerstner： 当然，有一家新入局者既有钱、又有智慧、还有野心，那就是 xAI。你认为他们有能力建立超级集群吗？
黄仁勋： 答案是肯定的。首先是对他们成就的认可。从概念到建成一个准备好安装 Nvidia 设备的数据中心，再到通电，连接好一切并进行首次训练，这一切都值得赞扬。
在如此短的时间内建造一个巨大的工厂，包括液冷、供电、获得许可，这简直像超人一样。据我所知，世界上只有一个人能做到这一点。埃隆在理解大型系统的工程和建设以及资源整合方面是独一无二的，这简直令人难以置信。当然，他的工程团队也是非凡的，软件团队、网络团队和基础设施团队也很棒。
从规划开始，与我们的工程团队、网络团队、基础设施计算团队、软件团队一起，所有的准备工作都提前完成。然后所有的基础设施、后勤以及在那一天进场的所有技术和设备、视频基础设施和计算基础设施等等，都在 19 天内完成，这实在是不可思议。
所以我认为埃隆所取得的成就是独一无二、前所未有的。十万个 GPU，这简直是地球上搭建最快的超级计算机集群。通常来说，你要建造的超级计算机集群需要三年时间来规划，然后交付设备、安装和运行还需要一年时间。别人要用 4 年完成的事情，埃隆只用了 19 天。
Brad Gerstner： 那我们再谈谈 OpenAI 的 o1。Noam Brown 是该模型的核心贡献者之一，他在 Meta 工作时曾有 Libratus、Pluribus 和 Cicero 等成果。Inference-Time 推理（Reasoning）作为扩展智能的全新载体，与仅仅构建更大的模型截然不同，这有多重要？
黄仁勋： 这是一件大事。我认为，很多智能无法先验地完成，甚至很多计算都无法重新排序。无序执行可以优先完成，很多事情只能在运行时完成。
无论你是从计算机科学的角度还是从智能的角度来思考，其中大多数的内容都需要考虑上下文以及正在寻找的答案类型。有时，一个快速的答案就足够了。这取决于答案的结果，取决于答案的使用属性。所以，有些答案需要花一个晚上，有些答案需要一周的时间。
所以我完全可以想象我给人工智能发送一个提示，然后告诉它，考虑一个晚上，不要马上告诉我，然后明天再回来告诉我。我认为从产品的角度来看，智能的质量和细分会产生一击即中的版本，当然也会有一些需要五分钟的版本。
Brad Gerstner： 「智能层」会将这些问题导向正确的模型，对症下药。使用高级语音模式和 o1 预览版，我辅导了儿子的 AP 历史考试，就像有世界上最好的历史老师坐在旁边思考这些问题。又回到了这个问题上，你知道，你今天 40% 以上的收入都是推理得来的，且推理又得益于推理链。未来还会带来十亿倍的增长，是这样吗
黄仁勋： 没错，这是大多数人还没有完全内化的部分。这就是我们说的工业革命。
Brad Gerstner： 所以每个人都非常关注英伟达，在训练更大的模型。想问：是不是如果收入比例变为 50:50，你未来会做更多的推理呢？训练永远是重要的，但推理的增长会比我们希望的多得多。
黄仁勋： 是的，我们希望是这样。
Brad Gerstner： 你们是否已经使用了推理链等工具来改善自己的业务？
黄仁勋： 是的，我们今天的网络安全系统离不开我们自己的智能体。智能体帮助设计芯片，我们有 AI 芯片设计师、AI 软件工程师、AI 验证工程师。我们在内部组建了这些团队，我们有能力而且愿意利用这个机会探索技术。
08 AI 在业务增长和提升生产力方面的作用
Brad Gerstner： 英伟达很独特。每个员工大约 400 万的收入，每个员工有大约 200 万的利润或自由现金流。你建立了一种效率文化，而这种文化真正释放了创造力、创新、所有权和责任。你打破了职能管理的模式。每个人都喜欢谈论你所有的直接下属。AI 的杠杆作用将继续让你在高效的同时保持超级创造力。
黄仁勋： 毫无疑问。英伟达现在有 3.2 万名员工，我希望英伟达某天将成为一家拥有 5 万名员工的公司，同时会有 1 亿个 AI 辅助我们。我们将有一个 AI 擅长事务的目录。我们的收件箱里面也会充满这些擅长不同事务的 AI 发来的信息。AI 也会招募其它 AI 来解决问题，它们还会在 Slack 频道里面交流。
当然，它们也会与人类交流。可以说，我们就是一个庞大的员工群体，其中一些是数字化的 AI，另一些则是生物体的人类。我还希望某天其中一些会是电子化的机器人。
Brad Gerstner： 人们常误解 AI 会替代人类的工作。但你公司的员工数量还在增长，并且你会用 5 万人完成原本 15 万人才能完成的工作。
黄仁勋： AI 并不会接替每一项工作。AI 将极大地影响人们看待工作的方式。让我们承认这一点，AI 有潜力做很棒的好事，它也有可能造成伤害。
被忽视的部分是，当公司使用 AI 变得更有效率时，就可能带来更好的收益或更好的增长。当这种情况发生时，CEO 的下一封电子邮件很可能就不是裁员。
Brad Gerstner： 因为业务在增长，需要更多人。
黄仁勋： 这是因为我们有更多的想法可以探索，我们需要人在自动化之前进行思考。当然，AI 也可以帮助我们思考，但也仍然需要我们去弄清楚要解决什么问题。人类可做的事情有很多。因此，随着生产力的提高，我们将雇佣更多的人。人们常忘记这一点。回顾过去，显然我们今天比 200 年前有更多的想法。因此 GDP 更高，就业人数更多了，即便我们一直在大量进行自动化。
Brad Gerstner： 有调查说，过去十年是生产力增长最慢的十年。人们还在辩论其原因，但如果世界就像你刚才所描述的那样，我们将利用和制造智能，那么我们的生产力是正处于急剧扩张的边缘吗？
黄仁勋： 我们希望如此。当然，你知道，我们生活在这个世界上，所以我们有直接的证据。现在，一个独立的研究人员就能够使用 AI 以难以想象的非凡规模探索科学。这就是生产力。
另外，我们正在设计非常惊人的芯片，其复杂性呈指数级增长，而公司的员工基础并不是衡量生产力的标准。我们开发的软件越来越好，因为我们在使用 AI 和超级计算机来帮助我们。因此，很多行业都有这样的增长。
毫无疑问，智能是世界上已知的最有价值的商品。现在我们要大规模生产它。我们将被 AI 包围。如果它们做得非常好，比你好得多，会发生什么？但反思一下，这就是我现在的生活。我有 60 个向我报告的人，他们在各自领域都比我优秀得多。我与他们互动没有任何问题。对 AI 也是如此。所以我认为人们将会学到的是：他们都将成为 CEO，成为 AI 智能体的首席执行官。
09 确保安全的 AI 开发
Brad Gerstner： 我们来谈谈 AI 的安全和监管吧。我们是在正确的道路上吗？你认为我们该如何确保 AI 是有利的，而不会导致一个反乌托邦的世界。
黄仁勋： 关于安全的对话非常重要和有益。AI 是一个巨大的神经元网络，是一个很抽象的观念。人工智能和大型语言模型确实相关，但并不一样。现在这方面有很多出色的工作。
一、开源模型，这样一来，整个研究社区、每个行业和每个公司都可以参与 AI，将这种能力用在自己的应用中。
二，人们在发明 AI 来保证 AI 安全，人们低估了这方面的技术。比如用 AI 来整理数据、对齐 AI、合成数据来扩展 AI 知识、减少幻觉、监控其它 AI、创建安全护栏等等。整个行业都在为之努力，包括方法论研究、红队研究、工作流程、模型卡、评估系统、基准测试系统…… 人们正在以非常快的速度构建各种工具。但这些努力都被低估了，没有得到应有的赞誉。
这是这些智能体、不同功能构建的理由。我们再次回到了第一性原理。
Brad Gerstner： 我们必须回到开源的话题上。你们发布了规参数很大、非常重要且可用的开源模型。
黄仁勋： 最近是 Nemotron。
Brad Gerstner： 很明显的是，Meta 对于业界有重要的开源贡献。推特上都是大模型开源 vs 闭源的讨论。如何保证你们自己的开源大模型一直处于前沿水平？第二个问题，在商业项目中，既有开源大模型，也有闭源模型的情况，是否会是未来合理的生态，这样安全吗？
黄仁勋： 开源 vs 闭源，和安全有关，但不仅仅是安全的问题。举个例子，用闭源模型显然是完全没问题的，这是保持创新所必须的。我全心全意支持这一点。不是封闭或开源，应该是封闭和开源。开源是促进很多行业的必需品，现在如果没有开源，那么多科学领域如何发展？它们都从 AI 的发展中受益了。
因为他们必须开发自己特定领域的人工智能，因此必须使用开源模型来开发特定领域人工智能。它们是相关的，但又不是一回事。只是因为你有一个开源模型并不意味着你就有了人工智能，所以你必须有那个开源模型来创建人工智能。
所以，金融服务、医疗保健、运输等一系列行业现在因为开源而活跃。这令人难以置信。
Brad Gerstner： 你们的开源大模型需求量很大吗？
黄仁勋： 首先不得不提的是行业老大 Llama，扎克伯格他们的成果太棒了，是难以估量的，很大程度上促进了每一个行业、科技领域。
我们把 Nemotron 定位于生成合成数据。直观的想法是，一个人工智能会在那里循环生成数据，自我学习，这听起来很脆弱，你可以无限循环多少次，这个循环值得怀疑。但这有点像我脑海中的一个画面 —— 就像你把一个超级聪明的人关进一个舒适的房间，关上门，大约一个月，你知道出来的可能不是一个更聪明的人。
但理论上你可以让两三个人坐在一起，我们有不同的人工智能，我们有不同的知识分布，我们可以互相提问回答，这样每个人都会变得更加聪明。
所以，你可以让人工智能模型进行交流、互动，来回辩论，强化学习并合成数据生成，这种想法在直觉上是有道理的。我们的模型 Nemotron-4 340B 是世界上最好的奖励系统模型。
它是最好的批评家，这是一个增强其他所有模型的绝佳模型。所以不管别人的模型有多棒，我都建议使用 Nemotron-4 340B 来增强和改进它。我们已经看到 Llama 变得更好，其他所有模型也都变得更好。
Brad Gerstner： 我们的采访快要结束了。
黄仁勋： 谢天谢地（笑）。
Brad Gerstner： 作为 2016 年交付了 DGX-1 的人，这真是一段不可思议的旅程，你们走过的旅程既不可思议又令人难以置信。你们存活了下来 —— 从 2016 年的 DGX-1 到 2022 年技术突破的出现。
所以有一个问题我也经常被问到，你能够坚持今天所做的事情多久？60 份报告都在说，英伟达无处不在，你们在引领这场变革。你觉得现在很享受吗？有没有想要做的其他事？
黄仁勋： 一个半小时的采访后，你就想问这个？（笑）
回答是：这是一段很棒的经历，我无法想象还能做什么更好的事了。
我认为，我认为不应该给人留下这样的印象，即我们的工作总是充满乐趣。我的工作并不总是充满乐趣，我也不指望它总是充满乐趣，我曾经期望它总是充满乐趣。我认为这一直很重要，是的。
我不会太认真对待自己，我非常认真地对待工作，我非常认真地对待我们的责任，我非常认真地对待我们的贡献和我们的时机。
这总是充满乐趣吗？不是的。但我是不是一直深爱着这份事业？是的。就像所有的事情一样，无论是家人、朋友、孩子，总是充满乐趣吗？不是的。但我们总是深深地爱着他们。
所以，我能做多久？真正的问题是，我能坚持多久。这唯一重要的信息是，这个问题只能用我将如何继续学习来回答。不过可以确定的是，我今天更加乐观了。我这么说不仅仅是因为我们今天的主题，我对自己的能力更加乐观，保持关注并继续学习，因为人工智能。
是的，我在使用它，我不知道你们是怎样的，我每天都在使用 AI。我的每一项研究都涉及到人工智能，所有的问题，即使我知道答案，我也会用人工智能验算一下。令人惊讶的是，我接下来追问的两三个问题揭示了一些我不知道的东西。你只需要选择话题。
我认为人工智能作为导师、作为助手、也能作为头脑风暴的伙伴，仔细检查我的工作。这是完全革命性的，我是一名信息工作者，我的输出是信息，所以我认为，这一切对社会的贡献都是非凡的。这样我就能保持跟进，我就可以继续做出贡献。
我知道这项工作对我来说非常重要，我想继续从事下去。我的生活质量令人难以置信。
Brad Gerstner： 我无法想象你和我已经在这个领域工作了几十年，我无法想象错过这一段经历。这是我们职业生涯中最重要的时刻，我们非常感谢这种合作关系。
黄仁勋： 不要错过未来 10 年。
Brad Gerstner： 你会让 AI 变得更聪明。谢谢你的讲述，真的非常享受。
黄仁勋：非常感谢 Brad，谢谢 Clark。
黄仁勋：我忍受的一切挫折、痛苦和磨难淬炼了超能力
2024-06-16 22:10:13 来源: 钛媒体APP 北京
“我忍受的一切挫折、痛苦和磨难淬炼了超能力”。
—— 英伟达创始人、CEO黄仁勋（Jensen Huang）
钛媒体 App 获悉，当地时间 6 月 15 日，英伟达创始人、CEO 黄仁勋（Jensen Huang）参加美国加州理工学院第 130 届毕业典礼，并发表了一段题为 “迎难而上抓住机会 “（Embrace Challenges and Seize Opportunities）的主题演讲。
黄仁勋畅谈了英伟达（NVIDIA）自 1993 年成立至今经历的计算机技术革命，以及 AMD、英特尔、高通拒绝与英伟达合作的历史，最终不得不退出了与 CPU 厂商的合作，以及能够进入移动设备芯片市场的重要机会。
黄仁勋坦言，过去一段时间，英伟达和他所忍受的一切挫折、痛苦和苦难，都是他本人珍视的超能力。
“当时，我们被踢出了这些市场，没有其他市场可以发展。因此，我们决定建造一些我们确信没有客户的东西，因为你绝对可以保证的一件事是，没有客户的地方。也没有竞争对手。没有人关心你。所以我们选择了一个没有客户的市场，一个 0 亿美元的市场：AI超级计算机。而现在，10 年后的今天，我对我们所建造的和创造下一波人工智能的机会感到非常高兴。更重要的是，我们培养了敏捷性和韧性文化。一次又一次的挫折，我们摆脱了它，滑向了下一个机会。每一次我们都获得了技能，增强了我们的性格，我们增强了我们的企业性格，我们的公司真的很难分心，真的很难气馁。“黄仁勋表示。
黄仁勋坦言，“我希望，你们将挫折视为新的机会。你们的痛苦和苦难将增强你们的性格、韧性和敏捷性，它们是我最珍视的终极超能力。智力不在这个列表的首位，我是有忍受痛苦和苦难的能力。”
黄仁勋强调，这十年里，英伟达从一家最初认识的制造 GPU 的芯片设计公司，转变为一家现在制造大规模数据中心、超级计算机的 AI 公司。“我们彻底改变了公司。我们也彻底改变了计算。今天计算的基本方式已经发生了根本性的变化。”
同时，黄仁勋本周还参与DataBricks CEO Ali Ghodsi的对谈分享活动。
黄仁勋表示，我们现在看到，数据每五年增长约10倍，而未来，AI 数据或每 5 年增长 100 倍。收集更多数据，捕捉更多见解，从而在其中提取和提供更好的 AI 技术服务。 最终，每个人都会是智能数据制造商。
“每家公司的业务数据都是他们的金矿。每家公司都坐拥金矿。如果你有一个服务或产品的飞轮，客户使用这些服务和产品并提供反馈，你已经收集数据很长时间了，可能是客户相关的，市场相关的，或供应链相关的。我们都积累了大量数据。但事实上，直到现在，我们还没有真正能够从中提取出有价值的见解，更重要的是，提炼出有用的智能。现在，我们对此非常兴奋。我们在芯片设计、漏洞数据库、新产品和服务的创建以及供应链中都在使用这些数据。”黄仁勋称。
黄仁勋强调，AI 的长期效益在于推理和生成能力，这将大大减少能量消耗。未来的计算体验将更加生成化和情境化，减少互联网流量并显著节省能源。他鼓励企业尽早开始使用 AI 技术，参与到这个快速发展的领域中，以免在未来落后于竞争对手。
~
~
以下是黄仁勋最新演讲内容，经钛媒体AGI编辑整理：
感谢你的介绍。作为一个展示，也许可以应用，有多少人知道英伟达？哇。很多人知道 GPU 是什么吗？很好。我不必改变我的演讲。
女士们，先生们，罗森鲍姆（Thomas F. Rosenbaum）校长，尊敬的教职员工，各位嘉宾，自豪的家长们，最重要的是，2024 届加州理工学院的毕业生们。今天对你们来说是非常快乐的一天。你们看起来更兴奋。
你们从加州理工学院毕业。这是伟大的理查德·费曼（美国理论物理学家）、莱纳斯·鲍林（美国化学家，量子化学和结构生物学的先驱者之一），以及在我们行业有很大影响的人的学校。
这是一件非常重要的事情。今天是充满自豪和喜悦的一天。这是你们所有人梦想成真的一天。
不仅仅是你们，因为你们的父母和家人为了看到你们达到这个里程碑做出了无数的牺牲。让我们借此机会向他们表示祝贺。感谢他们，让他们知道。你们爱他们。你们不想忘记这一点，因为你们不知道你们还要在家里住多久。我知道你们今天作为一个准备者想要非常感激。我真的很喜欢我的父母，我的孩子没有搬出去。每天看到他们真是太好了。但是现在他们已经搬出去了，这让我很难过。所以希望你们能花些时间和你们的父母在一起。你们在这里的旅程证明了你们的性格、决心、为梦想做出牺牲的意愿。你们应该为自己感到骄傲。做出牺牲、忍受痛苦和苦难的能力。你们在生活中需要这些品质。
你们和我们（NVIDIA）有一些共同交集。首先，英伟达的两位首席科学家都来自加州理工学院。而我今天发表演讲的原因之一，是因为我在招聘。所以我要告诉你们，NVIDIA 是一家非常棒的公司。我是一个非常好的老板，广受喜爱，可以在 NVIDIA 中工作，你们和我们，对科学和工程都有热情。
尽管我们岁数相隔约 40 年，但我们都处于职业生涯的巅峰，对于所有关注英伟达和我的人来说，你们知道我的意思。只是，你们还有更多的巅峰要去攀登。
我只希望，今天不是我的巅峰，不是顶峰。所以我像往常一样努力工作，以确保我在未来还有更多的巅峰。
去年，我很荣幸在国立台湾大学发表毕业典礼演讲。我分享了一些关于这个旅程的故事，以及我们学到的可能对毕业生有价值的经验教训。
我不得不承认，我不喜欢给别人建议，尤其是给别人的孩子。我今天的建议将主要隐藏在一些我喜欢的故事，和一些我喜欢的生活经历中。
我相信，我是当今世界上任职时间最长的科技公司首席执行官（CEO）。在 31 年的时间里，我设法没有破产，没有感到无聊，也没有被解雇。我有幸享受了很多生活经历。我从一无所有创建 NVIDIA 到今天的样子。
我创建GPU图形计算经历漫长道路，我们致力于发明 20 多年的GPU模型，这正在彻底改变计算。今天，我们依然在这个项目上工作，以及我所知道的理查德·费曼非常关心并经常谈论，知识诚实和谦逊如何拯救了我们的公司，以及一次撤退，一次战略撤退是我们最好的策略之一。所有这些都是我在毕业典礼上谈到的违反直觉的经验教训。
我鼓励毕业生参与 AI ，这是我们这个时代最重要的技术。稍后我会再谈一些，但关于人工智能的一切，很难不沉浸其中，被它包围，并对它进行大量的讨论。
我希望，你们都在使用它并应用玩它。所以有令人惊讶的结果，有些神奇，有些令人失望，有些令人惊讶，但你必须享受它。你必须参与其中，因为它发展得如此之快。这是我所知道的唯一一种同时在多个指数上发展的技术。
所以，技术变化非常非常快，因此我建议台大学生跑步，不要走路，参与人工智能革命。
然而，1 年后的今天，变化之大令人难以置信。
今天，我想做的是与你们分享，从我的有利位置，我对你们毕业时正在发生的一些重要事情的看法。这些都是正在发生的非凡事情，你们应该对它们有一个直观的理解。因为这对你很重要，对这个行业也很重要。希望你们能利用面前的机会。
计算机行业正在从根本上转型。在每一层，很快每个行业也将被改变。原因很明显，因为今天的计算机，是每个科学领域中每个行业的知识和基础的最重要工具。如果我们如此深刻地改变计算机，它将对每个行业产生影响。稍微谈谈它们，当你进入行业时，重要的是，正在发生什么？
现代计算可以追溯到 IBM System/360。这是我学习的架构手册。这是一本你不需要学习的架构手册。自那以后，已经有了更好的文档和对计算机和架构的更好描述。但 IBM System/360 在当时非常重要。
事实上，IBM System/360 的基本思想、架构、原则、思想和架构以及策略仍然支配着计算机行业，它是在我出生一年后推出的。
在 80 年代，我是第一代超大规模集成电路工程师之一，他们从里程碑式教科书中学习设计芯片。我不确定这里是否还在教。应该是。基于 Caltech 的 Cover 开创的 LSI 系统容器的引入，在芯片设计方法和教科书中彻底改变了 IC 设计。它使我们这一代人能够设计超级巨型芯片。
最终，CPU 导致了计算性能的指数增长。被称为摩尔定律的令人难以置信的技术进步推动了信息技术革命，我们所处的工业革命，我这一代人所处的工业革命见证了世界从未见过的东西的大规模生产。
大规模生产看不见的东西，易于复制的软件的大规模生产。它导致了一个 3 万亿美元的行业（IT）。当我坐在你坐的地方时，IT 行业微不足道。你可以通过销售软件赚钱的概念是一个幻想。然而，今天，它是我们行业生产的最重要的商品、最重要的技术和产品创造之一。
但是，Denard 缩放、晶体管缩放和指令级并行性的限制已经减缓了 CPU 性能。在计算需求继续呈指数增长的时候，CPU 性能的缓慢增长正在发生。计算需求和计算机能力之间的这种指数增长差距。如果不解决，计算能源消耗和成本通胀最终将扼杀每个行业。我们说话的时候已经看到了计算通胀的明显迹象。
在经过二十年的推进和 NVIDIA 加速计算之后，提供了一条前进的道路。这就是我在这里的原因。因为最终，行业意识到加速计算的难以置信的有效性，就在我们目睹计算通胀几十年后。通过将消耗时间的算法卸载到专门用于并行处理的 GPU 上。我们通常可以实现 10 倍、100 倍，有时甚至 1000 倍的速度提升，节省资金、成本和能源。
我们现在从计算机图形学、光线追踪到基因测序、科学计算、天文学、量子电路模拟、数据处理，甚至熊猫数据科学等领域，都需要GPU进行加速计算应用。
加速计算已经达到了一个临界点。这是我们对计算机行业的第一个伟大贡献，它现在为我们提供了一条可持续计算的前进道路，在计算需求继续增长 100 倍的情况下，成本将继续下降。
加速计算在时间、成本或能源节约方面打开的任何东西肯定会在其他地方引发新的发展。我们只是不知道它是什么。直到深度学习进入我们的意识，一个全新的计算世界出现了。杰夫·辛顿、艾丽斯·克拉泽夫斯基和伊莱乌斯·苏斯卡伯使用 NVIDIA 的 GPU 训练 AlexNet，并通过赢得 2012 年 ImageNet 挑战赛震惊了计算机视觉社区。
这是深度学习的大爆炸时刻，一个关键时刻，标志着人工智能革命的开始。
在AlexNet之后，我们决定改变了 NVIDIA 公司，这是值得注意的。我们看到了深度学习的潜力，并相信只是通过原则思考，相信通过我们自己对深度学习可扩展性的分析，我们相信这种方法可以学习，其他有价值的功能，也许，深度学习是一种通用函数学习器。有多少问题很难或不可能用基本的第一原理来表达？
当我们看到这一点时，我们认为，这是一项我们必须真正关注的技术，因为它的限制可能仅受模型和数据规模的限制。然而，当时存在挑战，这是 2012 年。
就在 2012 年之后不久。如果我们不必在当时构建这些巨大的 GPU 集群，我们如何探索深度学习的极限？或者说，作为一家小公司，构建这些巨大的 GPU 集群可能需要数亿美元。但如果我们不这样做，就无法保证它在扩展时会有效。
然而，没有人知道深度学习可以扩展到多远。如果我们真的构建了它，我们永远不知道，这是其中之一。如果你建造它，他们会来吗？我们的逻辑是，如果我们不建造它，他们就不会来。
我们基于我们的第一性原理，信念和我们的分析致力于此。我们让自己相信，这将是如此有效。当公司相信某件事时，我们就应该去做。
所以，我们深入研究深度学习。在接下来的十年里，我们系统地重新发明了一切，从 GPU 本身开始，发明了现代 GPU，它与我们最初发明的过去的GPU非常不同。我们继续发明了计算的几乎所有其他方面，互连、系统、网络和软件。
在这其中，我们向未知领域投资了数十亿美元。同时，十年来，数千名工程师致力于深度学习和推进深度学习的发展，而实际上，我们并不知道能真正把这项技术推进多远。
我们投资、设计并建造了超级计算机，来探索深度学习和人工智能的极限。然后在 2016 年，我们宣布了 DGX-1——英伟达第一台人工智能超级计算机。我把第一台交付给了旧金山的一家初创公司——OpenAI。在 2012 年，也就是 AlexNet 10 年之后，计算能力提高了约 100 万倍。
如果你能想象一下，如果你的笔记本电脑的能力提高了 100 万倍，那会是什么样子，100 万倍之后，OpenAI 推出了 ChatGPT，人工智能进入了主流。
在这十年里，英伟达从一家你们很多人可能最初认识的制造 GPU 的芯片设计公司，转变为一家现在制造大规模数据中心规模超级计算机的人工智能公司。我们彻底改变了我们的公司。我们也彻底改变了计算。今天计算的基本方式已经发生了根本性的变化。
现在的计算堆栈使用 GPU 来处理在超级计算机上训练的大型语言模型，而不是处理程序员编写的指令的 CPU。我们现在正在创建没有人能想象的软件。
即使在 10 年前，计算机现在也是由意图驱动的，而不是指令驱动的。告诉计算机你想要什么，它会想出如何去做。就像人类一样，人工智能应用程序将理解任务、原因、计划，并组织一个大型语言模型团队来执行任务。未来的应用程序，将以与我们非常相似的方式执行和执行任务，组装专家团队，使用工具，推理和计划，并执行我们的任务。
软件和软件能做的事情已经完全改变了。甚至我们的行业，在它被改变和转型的过程中，创造了另一个行业，一个世界从未见过的行业。一个行业正在我们眼前形成。
对于所有工程师来说，人工智能的输入和输出都是标记。这些都是嵌入智能的浮点数。公司现在正在构建一种新型的数据中心，这种数据中心以前不存在，专门用于生产智能标记。从本质上讲，AI 工厂就像尼古拉·特斯拉在过去的工业革命中发明的交流发电机一样。我们现在有了人工智能标记发生器。它们将是新工业革命的工厂。有生产能源、电力的大工业。我们现在有一个生产无形软件的大产业。
在不久的将来，我们将有生产制造智能标记、人工智能发生器的产业。一种新的计算模型已经出现，一个新的行业已经出现，这一切都是因为我们从第一原理出发，形成了对未来的信念。
下一波人工智能是机器人技术。除了语言模型，人工智能还具有物理世界模型。我们与数百家公司合作制造机器人、机器人车辆、机械臂、人形机器人，甚至整个巨大的机器人仓库。但与我们在人工智能工厂战略中的经验不同，我们的机器人技术之旅是由一系列挫折导致的。
英伟达发明了 GPU，这是在我们发明人工智能工厂之前。我们对计算机行业的第一个伟大贡献是通过可编程渲染，彻底改变计算机图形学。我们在 2000 年发明了 GPU 和可编程渲染。我们想把 GPU 集成到每台计算机中。所以我们开始把我们的 GPU 和主板芯片结合起来。我们推出了一款出色的集成图形芯片。当时对于 AMD 的 CPU，我们的芯片业务立即取得了成功。
我想它几乎在一夜之间从零增长到了 10 亿美元。
但突然之间，AMD 想要控制个人电脑中的所有技术（CPU、GPU），我们想要保持独立，所以他们收购了 ATI，不再需要我们。
所以，我们转向英特尔，这可能不是一个好主意，但我们转向英特尔，并协商了一项许可证，以连接英特尔的 CPU。同时，苹果对我们正在建设的东西感到兴奋，并要求我们与他们合作开发一款新电脑，这就是第一台 MacBook Air。
当英特尔看到事情发生改变并决定，他们不再希望我们这样做。他们终止了我们的协议。
我们再次转向，这一次我们去授权了 Arm，我们构建了一个低功耗的 SoC 移动 SoC，这是世界上第一个 SoC，本质上是一台计算机，一台完整的操作计算机。
这太不可思议了。我们的芯片让谷歌兴奋不已，他们要求，我们为一款新设备工作，结果这款设备就是安卓移动设备。
然而，高通决定他们不希望我们这样做。他们不希望我们连接到他们的模型，而且如果不连接到移动处理器，就很难构建一个基于 AI 的移动设备，因为没有其他 LTE 调制解调器公司，所以，我们不得不退出移动设备市场。
这几乎是在一年的节奏上发生的。
然后一年后，我们被踢出了这些市场，没有其他市场可以发展。因此，我们决定建造一些我们确信没有客户的东西，因为你绝对可以保证的一件事是，没有客户的地方。也没有竞争对手。没有人关心你。所以我们选择了一个没有客户的市场，一个 0 亿美元的市场：机器人技术。
我们建造了世界上第一台机器人计算机，处理一种当时没有人理解的算法，叫做深度学习。
这是十多年前的事了。
而现在，10 年后，我对我们所建造的和创造下一波人工智能的机会感到非常高兴。更重要的是，我们培养了敏捷性和韧性文化。一次又一次的挫折，我们摆脱了它，滑向了下一个机会。每一次我们都获得了技能，增强了我们的性格，我们增强了我们的企业性格。我们的公司真的很难分心，真的很难气馁。
这些天来，没有任何挫折看起来不像一个机会。具有讽刺意味的是，我们今天建造的机器人计算机甚至不需要图形，这就是我们的旅程开始的原因。
所以我们今天所处的位置告诉我们一些事情，并教会我们所有人。正如理查德·费曼所说，世界是不确定的，世界可能是不公平的，会给你发一手烂牌，迅速摆脱它，但显然要多读书。迅速摆脱它，来吧。 这很聪明。我让自己笑了。
外面还有另一个机会，或者创造一个。我再给你讲一个故事。我曾经每年夏天在我们的一个国际站点工作一个月。当我们的孩子十几岁的时候，我们在日本度过了一个夏天。一个周末，我们参观了京都和银阁寺。
如果你还没有机会去，你一定要去。它以其精致的苔藓花园而闻名。我们参观的那天是典型的京都夏日，闷热难耐，只有炎热潮湿，黏糊糊的。热量从地面辐射出来。空气很浓。静止的。和其他游客一起，我们漫步在精心修剪的苔藓花园中。我注意到一个孤独的园丁。现在记住苔藓花园。这是银阁寺。苔藓花园很大。它大约有这个庭院那么大，有收藏，显然是世界上最大的苔藓收藏。而且维护得非常精致，我注意到一个孤独的园丁蹲着，用竹镊子仔细地挑选苔藓，然后把它放进竹篮里。你必须这样做，这是一个竹镊子。这只是一个花园。篮子看起来空了一会儿。
我以为他是把想象中的苔藓捡到一堆想象中的死苔藓里。于是我走过去问他，你在干什么？用他的英语？他说，我在捡死苔藓。我在照顾我的花园，我说，但是你的花园太大了。
他回答说，我已经照顾我的花园 25 年了。我有足够的时间。这是我一生中最深刻的收获之一。它真的教会了我一些东西，这个园丁致力于他的手艺，做他一生的工作。当你这样做的时候，你有足够的时间。
我每天早上都这样完全一样地开始，我每天早上都从做我最优先的工作开始。首先。我有一个非常明确的优先事项列表，我从最高优先级的工作开始。在我开始工作之前，我的一天已经成功了。我已经完成了我最重要的工作，可以把我的一天奉献给帮助别人。
当人们为打断我而道歉时，我总是说我有足够的时间。
我对 2024 届的毕业生们说，我很难想象，还有谁比你们为未来做好了更充分的准备。你们致力于自己。你们努力工作。你们从世界上最负盛名的学校之一获得了世界一流的教育。当你们进入下一个阶段时，希望接受我们的学习。希望它们能在一路上帮助你们。
我希望你们相信一些东西，一些非常规的东西，一些未被探索的东西，但让它是知情的，让它是有道理的，然后致力于实现它。你可能会找到你的 GPU，你可能会找到你的导师，你可能会找到你的生成式人工智能，你可能会找到你的英伟达。
我希望，你们将挫折视为新的机会。你们的痛苦和苦难将增强你们的性格、韧性和敏捷性，它们是我最珍视的自己能力的终极超能力。智力不在这个列表的首位，我忍受痛苦和苦难的能力。
亲爱的，我长时间致力于某件事情的能力，我处理挫折并看到机会就在眼前的能力，我认为是我的超能力。我希望它们也是你们的，我希望你们找到一种手艺。
第一天决定并不重要。甚至很快决定也不重要，但我希望，你们能找到一种手艺。我希望你们找到一种想要奉献一生去完善、磨练技能，并让它成为你们一生工作的手艺。
最后，优先考虑你们的生活。有很多事情要做。有很多事情要做，但要优先考虑你们的生活。你们将有足够的时间去做重要的事情。
祝贺你们，2024 届的同学们。
via:
-
英伟达黄仁勋：通向成功的道路并不是一个接一个的成就，而是巨大的挫折，甚至是令人尴尬的时刻 蓝军总参谋部 蓝血研究 2024 年 10 月 16 日 11:05 广东
-
黄仁勋新访谈：OpenAI 是这个时代最具影响力公司之一，马斯克 19 天创造工程奇迹 北大总裁俱乐部 2024 年 10 月 25 日 22:42 湖北
-
Jensen Huang: On Leadership and AI’s Industrial Revolution | Tech Unheard
-
黄仁勋最新演讲全文：我忍受的一切挫折、痛苦和磨难淬炼了超能力｜钛媒体 AGI | 英伟达 | ibm | 人工智能行业_网易订阅