最近，AI领域发生了一件大事，包括埃隆.马斯克在内的千名专家联合签署公开信，呼吁暂停训练GPT-4后续AI模型至少6个月。消息一出，引爆全球网络和媒体，很快引来吴恩达等“AI大牛”的反对。

这个事件背后，其实是对AI将带来的网络安全新威胁的一种担忧。

网络攻击工具和内容的使用

由于人工智能可以从数据中自动提取模式和特征，因此可以使用人工智能生成网络攻击工具和内容。由于 ChatGPT具有强大的文本生成能力，因此也可以从 ChatGPT生成恶意软件、暗网站点和其他网络攻击工具。

网络攻击者已经开始使用 ChatGPT开发新的攻击工具和内容。例如，网络攻击者可以通过使用 ChatGPT构建恶意软件，或者创建与计算机科学相关的恶意软件。此外，网络攻击者还可以利用 ChatGPT来创造用于进行网络攻击的暗网站点。

ChatGPT如何成为网络攻击者的工具？

ChatGPT已经开始被网络攻击者用作工具，如通过攻击电子邮件或恶意网站，以及通过感染系统或窃取信息。许多网络攻击者已经开始利用 ChatGPT来创建恶意软件、暗网站点以及其他实施网络攻击的工具。例如，一位黑客使用 ChatGPT生成了一段代码，然后利用该代码创建了一个名为“Shadowsocks”的暗网站点，并开始通过该暗网站点进行传播。“Shadowsocks”被用于在网络上传播恶意软件和其他恶意内容。随着人工智能技术的不断发展，网络攻击变得越来越复杂，安全风险也将变得越来越严重。

ChatGPT 带来的网络安全新威胁

首先，从开展网络攻击的角度来看，ChatGPT 这类生成式人工智能是偏向于威胁行为者的。生成式 AI 能提供所要求的内容--这极大有利于制作网络钓鱼电子邮件。它通过获取的信息，利用额外的上下文关联关系，并根据其理解得出结论。ChatGPT 可以毫不费力地创建大量复杂的网络钓鱼电子邮件，甚至它还可以创建非常逼真的虚假配置文件，这样渗透进入过去被认为机器不适合或不擅长的领域（如 LinkedIn 等等），伪造出令人信服的资料甚至图片。

其次，目前已经看到有威胁行为者正在使用 ChatGPT 来开发恶意软件。虽然 ChatGPT 的代码编写能力的质量结果好坏参半，但专门从事代码开发的生成式 AI 可以极大地加速恶意软件的开发速度。这种开发速度的加快直观的结果就是它有助于更快地利用漏洞，在漏洞披露后的几个小时内即可开发出直接利用漏洞来开展攻击的工具，而不是过去的几天后才开发出工具来利用它。

再者，ChatGPT 大大降低了威胁参与者基于技能的进入成本。目前，威胁的复杂性或多或少与威胁行为者的技能水平有关，但 ChatGPT 已经将恶意软件空间开放到一个全新的新手威胁参与者水平上，他们参与门槛极大地降低，因为它不仅扩大了潜在威胁的数量，将潜在威胁行为者的数量扩大到了令人震惊的程度，而且还使那些几乎不知道自己在做什么的人更有可能加入战斗。

由于 ChatGPT 的迭代和改进速度惊人，依托它来开展的网络攻击能力水平能得到同步进化，可以说它在发现漏洞方面越来越快、越来越聪明，在编程实现漏洞利用方面越来越及时、越来越成熟高效，新发现的漏洞的武器化时间必将越来越短。

具体展开来分析，ChatGPT 新增的恶意用途表现为：

（1）整合多种恶意软件

过去的恶意软件往往相对独立，都在针对某些或某类暴露出来的漏洞进行攻击，有点单点定向攻击的味道，比较难以扩散，但 ChatGPT 出现后，正如网络安全出版商 CyberArk 报道的那样，新的病毒或攻击武器可以在ChatGPT 的帮助下让过去能被阻止、检测、过滤的病毒获得新生，因为它可以通过精确地引导攻击请求，ChatGPT 就可以生成网络犯罪分子过去难以整合的代码，从而打出组合拳，实现全面的立体攻击甚至自动化智能攻击。

（2）提升漏洞发现能力

ChatGPT 具有强大的分析功能。通过向 ChatGPT 提供源代码甚至部分泄露出来的源代码，ChatGPT 就有能力检测出其中可能的漏洞，目前据报道已经有黑客在漏洞赏金计划期间使用了这种技术，并且获得成功（比如通过分析 PHP 代码片段，ChatGPT 发现了通过数据库访问用户名的可能性以及方法和路径）。因此，可以肯定的是，网络犯罪分子已经开始使用它来尝试发现新的漏洞。

（3）给新手黑客赋能

过去我们往往认为黑客都具备很高的技术技能，但 ChatGPT 出现后新手黑客（script kiddie）大量涌现，他们并没有很高的技术技能，其活动充其量只是使用暗网上可用的现有脚本，或简单地在 GitHub 平台上发起入门级攻击（例如不发明任何东西，只是随机性地使用其他人开发的程序，实现对 Kali Linux 操作系统的冒犯性使用）。在 ChatGPT 出现后，这些入门级网络犯罪分子立刻可以获得新的能力，从过去的只能简单地利用指令中立刻跳升到编写针对性代码的新级别，这极大地激励了众多入门级黑客使用ChatGPT 发起自己的攻击。

（4）按需伪造钓鱼电子邮件

由于可以通过将问题定向到源代码生成，因此可以要求 ChatGPT 编写网络钓鱼电子邮件的文本（例如交付、人力资源或付款提醒等），ChatGPT可以非常方便且高效地完成对应的上下文，ChatGPT 生成的文本即使是专家也看不出来，这可以说为犯罪分子提供了按需伪造文本的利器，由于伪造出来的文本完全可以以假乱真，人工都难以识别，因此机器更无法过滤，可以大大提高攻击的有效性。根据 HP Wolf Security 的研究，网络钓鱼占恶意软件攻击的近 90%，业界专家估计 ChatGPT 必将会使情况变得更糟。因为过去鱼叉式网络钓鱼使用社会工程来创建具有更高收益的高度针对性和定制的诱饵，但是鱼叉式网络钓鱼需要大量的手动工作，因此过去规模很小，随着利用 ChatGPT 来产生诱饵，攻击者立刻可以解决大量和针对性两全方面的问题。更要命的是基于 ChatGPT 的这类攻击可以轻松绕过电子邮件保护扫描程序，因为它们不包含任何恶意附件。

（5）快速筛选和锁定目标

ChatGPT 可以被用来作为高效通过友好聊天收集信息的一种工具，因为用户根本不会知道他们正在与 AI 交互。利用一个毫无戒心的人可能会在一长串的交谈中泄露出来的看似无害的信息，这些信息结合起来可能有助于确定他们的身份、工作和社会生活关系；通过 ChatGPT 向企业员工发送问题，员工可能会在不知不觉中分享有关组织正在做什么、如何处理网络事件、组织当前正在处理什么网络事件…等。此外，有关技术问题的沟通可能揭示组织感兴趣的业务发展方向…结合其他人工智能模型，这足以告知黑客或黑客群体谁或者那个组织可能是一个很好的潜在目标以及如何利用他们。

（6）模拟网络防御/攻击以发展网络攻击技术

据报道，攻击者正在使用 ChatGPT 来模拟网络防御来发展他们的网络攻击技术，以找出目标系统的漏洞。同时，他们通过模拟攻击来评估其攻击的有效性。他们通过利用 ChatGPT 对不同的恶意软件技术进行研究，甚至利用它创建对目标最有效的恶意软件。

（7）社会工程攻击

ChatGPT 的诞生和发展，给甚至不精通各种语言的攻击者借助生成的文本进行社会工程攻击提供了极大的方便。攻击者利用 ChatGPT，在医学研究、国防和网络安全等关键领域传播误导性信息/错误信息。过去为了捕获人工智能生成的错误信息，专家们使用人工智能驱动的模型转换器，通过对大量资源进行检查来快速识别错误信息。然而，ChatGPT 也使用模型转换器，可以轻松生成绕过网络安全专家的系统的识别。

此外，通过利用 ChatGPT 向用于自动网络安全响应的威胁情报提供误导性信息，可以降低网络安全的有效性，这可能使专家都无法关注到需要解决的实际漏洞。

ChatGPT 带来的网络安全防御新机遇

ChatGPT 在网络安全方面给我们带来新的风险的同时也为网络安全防御带来了新气象，它也可以是一个强大的网络安全工具，具体体现为：

（1）提升防御的自动化水平并减少人为错误

ChatGPT 作为人工智能的典型代表，它对实现自动化防御措施提供了有力支撑。目前，安全编排、自动化和响应（SOAR）工具在网络安全策略中越来越受欢迎。由于 SOAR 具有减少应对安全威胁所需的人为干预能力，利用 ChatGPT 这样的 AI 来协助网络安全策略的部署和动态调整，可以大大减轻安全专家的工作量和工作强度，从而可腾更多的时间来聚焦处理 AI 无法处理的创造性工作。

ChatGPT 可以降低人为错误的可能性。任何网络安全系统的关键弱点之一是人为因素，无论您的计划有多好，无论您的技术多么有效，只需要一两个人犯了一个错误，网络就会无法抵御勒索软件和其他网络安全威胁。通过尽可能多地利用 ChatGPT 来自动化生成解决方案，网络安全公司有望减少人为错误导致网络灾难的可能性。

（2）ChatGPT 是信息安全人员的好助手

ChatGPT 可以通过进行研究、撰写报告、创建处理各种事件的脚本和检查数据来帮助首席信息安全官。安全官员可以使用 ChatGPT 的综合分析结果来增加对安全问题的了解，进一步还可以借助 ChatGPT 的能力来寻找到应对网络风险的最佳方法。此外，它还是安全研究人员的很好的信息安全伴侣，因为它可以很好地完成许多任务，同时与人们十分自然地交互。未来，它可以与安全管理团队深度配合，特别是那些处理脚本、恶意软件分析和取证的团队。

（3）ChatGPT 可大大提高安全团队的效率

ChatGPT 能帮助 IT 和安全团队变得更加高效，实现自动和/或半自动漏洞检测和修复以及基于优先级的风险评估等工作。过去，可以分析数据安全的人工智能对于面临资源有限的 IT 和安全团队来说非常稀缺，局限点在于需要海量数据的训练它才能理解特定环境中的什么是“正常”情况什么是“异常”情况，因此实施起来极其复杂。但是 ChatGPT 的诞生，大大简化这样的过程，它的超强“理解力”给安全团队带来了极大的方便，使得自动或半自动漏洞检测与修复不仅可行且高效起来。

（4）编写事务性的处理代码

可以利用 ChatGPT 编写代码，特别是事务性处理程序代码。安全运维分析师常见的任务是处理特定的日志文件、针对某些模式的 grep 并将其导出，以获得对事件或问题的有意义的见解。通常分析师需要知道并熟悉一种脚本语言（如 Python），ChatGPT 可以以多种语言为他们编写这些脚本，可以管理各种格式（LEAF、CEF、Syslog、JSON、XML 等），甚至可以做得更好。

结 语

网络防御者和攻击者之间一直在进行一场永无止境的战斗，一旦安全商开发出缓解最新威胁的方法，攻击者就会忙于寻找解决方法或新的威胁来取代它。

随着像 ChatGPT 这样的创新变得越来越强大，网络安全的军备竞赛将日益自动化，这真的可能是一个全新的新世界。最终，攻防的两边都将发展到大部分是自动化几乎没有人类参与的状态。

在网络安全环境中 ChatGPT 还不能替代人类--尤其是在识别和缓解威胁方面，但在正确的环境中与正确的团队合作，它会如虎添翼。

文章来源： 墨算，信息安全与通信保密，中国科学报，