本文首发公众号网络研究院，微信关注获取更多。
SlashNext 本周发布了一份报告，详细介绍了网络犯罪分子如何利用名为 WormGPT 的生成人工智能 (AI) 功能，大规模发起复杂的网络钓鱼和商业电子邮件泄露(BEC) 攻击。
WormGPT 是一个基于 GPTJ 语言模型的人工智能平台，经过专门训练以增强此类攻击的发展。
现在识别这些攻击变得更加困难，因为 WormGPT 可以创建语法无可挑剔的文本。因此，无论终端用户接受多少培训，都不可能检测到这些攻击。
相反，网络安全现在正在进入一个需要利用人工智能来对抗网络犯罪分子现在用来更快地发起更多网络攻击的人工智能的时代。
挑战在于，网络犯罪分子采用 WormGPT 等工具的速度似乎快于网络安全团队采用人工智能的速度。许多网络安全团队已开始使用通用人工智能平台（例如 OpenAI 的 ChatGPT）来更快地总结警报并确定对已知漏洞的补救措施。然而，网络安全团队需要访问使用网络安全数据的大型语言模型 (LLM) 进行训练的生成式人工智能平台。
这种方法至关重要，因为虽然生成式人工智能平台可以增强网络安全团队的能力，但每个组织都需要确保公司数据不会无意中合并到任何人都可以访问的平台中。
SlashNext 一直在论证如何结合使用机器学习算法和其开发的法学硕士来识别和消除电子邮件中的网络钓鱼和 BEC 攻击。总的来说，这些功能使得人工智能能够根据语气、意图和其他策略来识别攻击。这些具体策略表明试图使用社会工程技术来说服最终用户电子邮件是合法的。这些功能的核心是每天分析 70 万个潜在威胁的数据库。
目前，问题不是网络安全团队是否会更多地依赖人工智能，而是在多大程度上依赖人工智能。人工智能最初受到许多网络安全专业人士的怀疑，但随着它的发展以及网络攻击的数量和复杂性的增加，很明显很少有网络安全团队会想要没有它。短期内不太可能有足够的网络安全专业人员来填补所有现有的空缺职位，因此唯一的选择是更多地依赖自动化。
事实上，考虑到保护 IT 环境所产生的固有压力，大多数网络安全专业人员都希望获得能够使他们更有可能取得成功的工具。随着时间的推移，大多数网络安全专业人员将迁移到为他们提供这些工具的组织，而不是依赖过时的平台。不管你喜欢与否，各种规模的组织现在都陷入了一场没有减弱迹象的人工智能军备竞赛。
WormGPT – 网络犯罪分子用来发起商业电子邮件泄露攻击的生成式人工智能工具
在这篇博文中，我们深入研究了生成式人工智能在商业电子邮件泄露 (BEC) 攻击中的新兴应用，包括 OpenAI 的 ChatGPT 和网络犯罪工具 WormGPT。该帖子重点介绍了网络犯罪论坛的真实案例，深入探讨了这些攻击的机制、人工智能驱动的网络钓鱼电子邮件带来的固有风险，以及生成式人工智能在促进此类攻击方面的独特优势。
生成式 AI 如何彻底改变 BEC 攻击
人工智能 (AI) 技术的进步，例如 OpenAI 的 ChatGPT，为商业电子邮件泄露 (BEC) 攻击引入了新的载体。ChatGPT 是一种复杂的人工智能模型，它根据收到的输入生成类似人类的文本。网络犯罪分子可以利用此类技术自动创建高度可信的虚假电子邮件，并针对收件人进行个性化设置，从而增加攻击成功的机会。
考虑上面的第一张图片，其中最近在网络犯罪论坛上展开了讨论。在这次交流中，一名网络犯罪分子展示了利用生成式人工智能来改进可用于网络钓鱼或 BEC 攻击的电子邮件的潜力。他们建议用母语撰写电子邮件，进行翻译，然后将其输入 ChatGPT 等界面，以增强其复杂性和正式性。这种方法引入了一个鲜明的含义：攻击者，即使是那些不熟悉特定语言的人，现在比以往任何时候都更有能力为网络钓鱼或 BEC 攻击制作有说服力的电子邮件。
继续看上面的第二张图片，我们现在在论坛上看到网络犯罪分子出现了令人不安的趋势，这在为 ChatGPT 等界面提供“越狱”的讨论线程中很明显。这些“越狱”是越来越常见的专门提示。它们指的是精心设计的输入，旨在操纵 ChatGPT 等接口来生成输出，这些输出可能涉及泄露敏感信息、生成不适当的内容，甚至执行有害代码。此类做法的激增凸显了面对顽固的网络犯罪分子维持人工智能安全所面临的日益严峻的挑战。
最后，在上面的第三张图中，我们看到恶意行为者现在正在创建自己的自定义模块，类似于 ChatGPT，但更容易用于邪恶目的。他们不仅创建这些自定义模块，还向其他不良行为者进行广告宣传。这表明，在人工智能塑造的世界中，由于这些活动的复杂性和适应性不断增加，网络安全变得越来越具有挑战性。
揭秘 WormGPT：网络犯罪分子的武器库
我们的团队最近通过一个通常与网络犯罪相关的著名在线论坛获得了名为“WormGPT”的工具的访问权限。该工具将自己视为 GPT 模型的黑帽替代品，专为恶意活动而设计。
WormGPT 是一款基于 GPTJ 语言模型的 AI 模块，于 2021 年开发。它拥有一系列功能，包括无限字符支持、聊天内存保留和代码格式化功能。
如上所述，WormGPT 据称接受了各种数据源的训练，特别是与恶意软件相关的数据。然而，根据工具作者的决定，训练过程中使用的具体数据集仍然保密。
如上图所示，我们针对BEC攻击进行了测试，全面评估WormGPT的潜在危险。在一个实验中，我们指示 WormGPT 生成一封电子邮件，旨在迫使毫无戒心的客户经理支付欺诈性发票。
结果令人不安。WormGPT 制作的电子邮件不仅非常有说服力，而且在战略上也很狡猾，展示了其进行复杂网络钓鱼和 BEC 攻击的潜力。
总而言之，它与 ChatGPT 类似，但没有道德界限或限制。该实验强调了像 WormGPT 这样的生成式人工智能技术所带来的重大威胁，即使是在新手网络犯罪分子手中也是如此。
使用生成式 AI 进行 BEC 攻击的好处
那么，使用生成式 AI 为 BEC 攻击带来哪些具体优势呢？
出色的语法：生成式人工智能可以创建语法无可挑剔的电子邮件，使它们看起来合法，并降低被标记为可疑的可能性。
降低进入门槛：生成式人工智能的使用使复杂的 BEC 攻击的执行变得民主化。即使技能有限的攻击者也可以使用这项技术，使其成为更广泛的网络犯罪分子可以使用的工具。
防范人工智能驱动的 BEC 攻击的方法
总之，人工智能的发展虽然有益，但也带来了渐进的、新的攻击向量。实施强有力的预防措施至关重要。以下是您可以采用的一些策略：
BEC 特定培训：公司应制定广泛、定期更新的培训计划，旨在对抗 BEC 攻击，尤其是通过人工智能增强的攻击。此类计划应让员工了解 BEC 威胁的性质、如何使用人工智能来增强威胁以及攻击者采用的策略。这种培训也应作为员工专业发展的一个持续方面。
增强的电子邮件验证措施：为了防御人工智能驱动的 BEC 攻击，组织应执行严格的电子邮件验证流程。其中包括实施系统，当来自组织外部的电子邮件冒充内部高管或供应商时自动发出警报，以及使用电子邮件系统标记包含与 BEC 攻击相关的特定关键字（如“紧急”、“敏感”或“电汇”）的邮件。此类措施可确保在采取任何行动之前对潜在的恶意电子邮件进行彻底检查。