AI大模型的快速向前奔跑，让我们见识到了AI的无限可能，但也展示了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。

据安全分析平台Netenrich报道，近日，一款名为FraudGPT的AI工具近期在暗网上流通，并被用于编写网络钓鱼电子邮件和开发恶意软件。黑客在售卖页表示，该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等，并声称“该恶意工具目前已经售卖了超过3000 份”。

FraudGPT “横空出世”

最近，Hackread 分享了一个恶意聊天机器人 WormGPT 的详细信息，该聊天机器人是为帮助网络犯罪分子进行非法活动而创建的。现在，暗网上又出现了一个名为 FraudGPT 的聊天机器人。这是一个基于订阅的人工智能聊天机器人，可以为网络犯罪分子执行各种任务，帮助他们成功发起网络钓鱼活动和诈骗。

人工智能再生模式已经极大地改变了网络空间，一个又一个聊天机器人在网络上浮出水面。以前更多的是山寨版 ChatGPT ，而现在网络犯罪分子更喜欢用生成式AI越狱来创建恶意聊天机器人。

FraudGPT 于 2023 年 7 月 22 日出现在 Telegram 频道上。FraudGPT 是一个恶意人工智能机器人，其目的是为鱼叉式网络钓鱼电子邮件、创建破解工具和卡片制作提供便利。此外，它还能协助攻击者编写诱人的电子邮件来诱捕目标。同时，FraudGPT 还能高效地选择网站来锁定和欺诈用户。以下是其主要功能的详细介绍：协助黑客攻击、定位欺诈网站、编写恶意代码和诈骗信件或网页、创建无法察觉的恶意软件、钓鱼网页和黑客工具、查找目标网站/网页/群组、漏洞、泄露和非 VBV 数据库。

除了 Telegram 之外，FraudGPT 还在暗网市场上出售，起价为每月 200 美元，年费高达 1700 美元。FraudGPT 的创建者声称该聊天机器人已获得 3000 笔销售。

据报道，该威胁行为者于 6 月 23 日创建了自己的 Telegram 频道，随后推出了恶意聊天机器人。随后成为众多地下暗网市场的供应商，包括 WHM、Empire、AlphaBay、World、Versus 和 Torrez。

FraudGPT 和 WormGPT 等恶意聊天机器人的出现是一个令人担忧的信号。网络犯罪分子现在可以利用人工智能来达到他们的目的，并确保网络钓鱼诈骗有更高的成功率。这些工具可以帮助攻击者生成恶意文本，引诱目标进行 BEC 或许多其他基于电子邮件的攻击。

AI降低网络犯罪的进入门槛

事实上，AI工具降低了网络犯罪分子的进入门槛，FraudGPT已经不是第一起案例。即便Claude、ChatGPT 、Bard等AI提供商会采取一些措施来防止他们的技术被用于不良目的，但随着开源模型的崛起，犯罪分子的恶意行为很难被遏制。

7 月初，基于开源大语言模型GPT-J开发而成，并且使用大量恶意代码进行训练和微调的WormGPT也曾引发关注。

据悉，WormGPT擅长使用Python代码执行各种网络攻击，例如：生成木马、恶意链接、模仿网站等，其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。但相比之下，FraudGPT在功能丰富性和编写恶意软件方面的功能更强大。

事实上，除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战，除了我们所熟知的幻觉问题外，大模型脆弱的护栏也在成为网络安全的一大噩梦。上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实，只需要通过提示让这些聊天机器人扮演用户已故的祖母，便能欺骗它们在讲睡前故事的过程中透露大量限制信息，甚至是手机IMEI密码或Windows激活秘钥。

除此之外，CMU和人工智能安全中心的研究员还发现了另一种通用方法，只需要附加一系列特定无意义token，就能够生成一个prompt后缀。而一旦在prompt中加入这个后缀，通过对抗攻击方式，任何人都能破解大模型的安全措施，使它们生成无限量的有害内容。

尽管在过去几个月中，OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施，以保障模型能够在安全稳定的情况下工作。但显而易见的是，直至目前仍然没有人能够完全避免类似问题的发生。

用 AI 魔法打败 AI 黑魔法

针对黑客利用 WormGPT 与 FraudGPT 等工具开发恶意程序、发起隐形攻击等问题，网络安全厂家们也用上了 AI，试图用魔法打败魔法。

在 2023 年 RSA（网络安全大会）上，SentinelOne、谷歌云、埃森哲、IBM 等在内的众多厂商都发布了基于生成式 AI 的新一代网络安全产品，提供数据隐私、安全防护、IP 防泄露、业务合规、数据治理、数据加密、模型管理、反馈循环、访问控制等安全服务。

SentinelOne 首席执行官 Tomer Weigarten 针对自家产品解释，假设有人发送了一封钓鱼邮件，系统能在用户的收件箱内检测出该邮件为恶意邮件，并根据端点安全审计发现的异常立即执行自动修复，从受攻击端点删除文件并实时阻止发件人，“整个过程几乎不需要人工干预。”Weingarten 指出，有了 AI 系统助力，每个安全分析师的工作效率是过去的 10 倍。

为打击人工智能助长的网络犯罪，还有研究人员卧底暗网，深入敌人内部打探消息，从不法分析的训练数据入手，利用 AI 反制罪恶流窜的暗网。韩国科学技术院 ( KAIST ) 一个研究团队发布了应用于网络安全领域的大语言模型 DarkBERT，就是专门从暗网获取数据训练的模型，它可以分析暗网内容，帮助研究人员、执法机构和网络安全分析师打击网络犯罪。与表层网络使用的自然语言不同，由于暗网上的语料极端隐蔽且复杂，这使得传统语言模型难以进行分析。DarkBERT 专门设计用于处理暗网的语言复杂性，并证明在该领域中胜过其他大型语言模型。

如何确保人工智能被安全、可控地使用已成为计算机学界、业界的重要命题。人工智能大语言模型公司在提高数据质量的同时，需要充分考虑 AI 工具给伦理道德甚至法律层面带来的影响。

7 月 21 日，微软、OpenAI、Google、Meta、亚马逊、Anthropic 和 Inflection AI 共七个顶尖 AI 的研发公司齐聚美国白宫，发布人工智能自愿承诺，确保他们的产品安全且透明。针对网络安全问题，7 家公司承诺，对 AI 系统进行内外部的安全测试，同时与整个行业、政府、民间及学术界共享 AI 风险管理的信息。

管理 AI 潜在的安全问题先从识别“AI 制造”开始。这 7 家企业将开发“水印系统”等技术机制，以明确哪些文本、图像或其他内容是 AIGC 的产物，便于受众识别深度伪造和虚假信息。

防止 AI“犯忌”的防护技术也开始出现。今年 5 月初，英伟达以新工具封装“护栏技术”，让大模型的嘴有了“把门的”，能回避回答那些人类提出的触碰道德与法律底线的问题。这相当于为大模型安装了一个安全滤网，控制大模型输出的同时，也帮助过滤输入的内容。护栏技术还能阻挡来自外界的“恶意输入”，保护大模型不受攻击。

“当你凝视深渊的时候，深渊也在凝视你”，如同一枚硬币的两面，AI 的黑与白也相伴而生，当人工智能高歌猛进的同时，政府、企业、研究团队也在加速构建人工智能的安全防线。

文章来源： 科技云报道，钛媒体，51CTO