生成式人工智能在网络上充斥着垃圾邮件。根据网络安全公司Darktrace公布的最新研究报告，攻击者使用ChatGPT等生成式AI，通过增加文本描述、标点符号和句子长度，让社会工程攻击量增加了135%。

报告中还指出全球30%的员工过去曾因欺诈性电子邮件或短信而上当受骗。此外，87%的人担心在线提供的有关他们的个人信息量可能会被用于网络钓鱼和其他电子邮件诈骗。

在过去6个月中，诈骗电子邮件和短信的频率增加了70%，并且79% 的公司垃圾邮件过滤器错误地阻止了重要的合法电子邮件进入他们的收件箱。

一、AI“加持”下，钓鱼邮件防不胜防

钓鱼邮件对跨境电商从业者来说并不陌生，过去，一种有效的识别钓鱼邮件的方法是注意内容单词的拼写及语法错误。据资料显示，约有50%的钓鱼邮件来源于俄罗斯、德国和中国。从这些母语非英语地区发出的邮件中，大多假冒的内容都包含了不正常的语法或用词，与正规标准的电子邮件风格不符。

事实上，为了防止员工点击带有恶意链接的邮件或泄露登录信息，许多电商公司在培训中都会提醒注意拼写错误、不寻常的语法以及非英语母语者可能犯的其它错误。

然而，现在的生成式AI技术已经能够完美地排除掉这些传统的识别特征。

最近电子邮件安全公司Abnormal Security的CEO Evan Reiser在接受采访时也指出了这点，由生成式AI平台制作的精细钓鱼邮件几乎与真实邮件无异，使人难以一眼辨识。他表示：“当你浏览这些邮件时，大脑中并不会产生任何提示，警告你这可能是一次网络钓鱼攻击。”

可怕的是，避免语言错误只是生成式AI在钓鱼邮件上展现的基本技能，更强的欺诈和混淆能力更为致命。

得益于AI模仿人类书写的能力，钓鱼邮件的内容可能包括制造紧迫感、鼓励收件人点击链接或者伪装为汇款请求的社交工程邮件等。一旦收件人点击链接，他们的系统就可能受到恶意代码的感染。

上述伪造亚马逊邮件的场景中，便是被AI制造了对于卖家而言比较急迫的场景。不少卖家在仔细审查邮件内容后，虽感到不太对劲，但由于担忧可能错过了某些重要信息，还是按照邮件中的指引操作。

另外，生成式AI还能够使钓鱼邮件更具攻击性。它们可以从社交平台、新闻门户、网上论坛等多种来源中抓取个人信息，以针对性更强的诱人邮件。这在过去通常是需要花上数月的时间才能完成的任务。如果攻击者能够掌握这些专有信息，他们可以在邮件中植入更具说服力的细节内容，或是模仿某人的写作方式。

Evan Reiser指出：“目前，犯罪者只需捕获这些电子邮件，自动地喂养到一个大型模型，接着指示它构建一封引用最近五次在线对话的邮件。这样之前可能需要八小时完成的任务，现在只需八秒。”

即使是技术能力有限的攻击者，也可以利用生成式AI来编写VBA代码。他们只需指示AI将恶意URL嵌入到代码中，当用户打开如Excel这样的文件时，系统会自动下载并执行恶意软件。

过去，像ChatGPT和Bard这样的系统都有内置的保护功能，能够尽可能预防生成恶意内容，但随着越来越多的邪恶GPT版本涌现，电子邮件安全正在面临巨大的挑战。

二、各国加速出台AI监管条例

2023年8月21日，国际安全研究团队Perception Point与Osterman Research公司联合发布了名为《人工智能在电子邮件安全中的作用》的报告。该报告揭示了网络犯罪分子如何利用AI来增加和复杂化电子邮件威胁（如网络钓鱼和BEC攻击）的惊人趋势。

此项研究指出，网络罪犯正在迅速采用AI工具以推动其利益，而有91.1%的组织称他们已遭受到了被AI增强的电子邮件攻击。

今年5月25日，日本高官表示，七国集团（G7）官员将于下周举行会议，讨论ChatGPT等生成式AI工具带来的问题，包括知识产权保护、虚假信息以及应如何管理AI技术等。

目前来看，各国对于人工智能的态度不一。

欧洲是支持AI监管的先行者。欧盟委员会执行副主席兼竞争专员Margrethe Vestager4月24日接受采访表示，欧盟希望最快今年就ChatGPT等生成式AI的监管规则达成一致。此外早在4月初，欧盟内部市场专员、工业和信息化产业负责人已公开表示，欧盟将要求所有生成式AI内容必须注明来源。

美国方面，5月4日，白宫宣布拨款1.4亿美元用于研究制定指导AI监管方针。日本的态度则相对宽松，该国表示支持公共事业部门和工业领域采用人工智能技术，同时监测其风险。

我国相关部门则于上个月发布了《生成式人工智能服务管理办法（征求意见稿）》（下文简称：《意见稿》），旨在促进生成式人工智能技术健康发展和规范应用。

公司层面，站在暴风眼中心的人工智能企业OpenAI于5月25日宣布，将拨出100万美元，分为10笔等额奖金，用于激励外部AI治理方案的提出。该公司首席执行官Sam Altman在参加国会听证会曾表示，希望当局（美国）成立一个监管人工智能的专属机构。

三、使用AI来对抗AI？

在AI的威胁下，过去依靠经验躲避钓鱼邮件陷阱的方法不再有效，新的对策或在于以AI对抗AI。已有数家网络安全公司将生成式AI融入其产品，力图在被大规模滥用前采取措施。

有供应商正在利用AI来提高电子邮件的安全能力和流程，例如：为了洞察每个发送者和接收者的习惯和特性，一个AI模型被设计出给组织中的每位成员绘制通信模式。

具体来说，谁会给他们发信息？信息内容是什么？何时和从哪里发送这些消息？通常有其他人被抄送还是只有一个目标接收者？每位发送者使用哪些电邮地址？简而言之，AI被用于构建关于每个人常规行为的档案。

另外，为了察觉不常见的邮件发送模式，供应商结合了以下策略：利用社交图技术进行基础发送模式的分析；识别相似或相近的电子邮件地址；鉴别包含社交工程技巧的信息；检测冒名顶替的标记和其它品牌相关的视觉元素；以及对电子邮件中的语气、情感和风格进行分类。以上策略都有助于检测那些旨在混淆人类思维的异常邮件。

尽管接受过安全意识培训的人力也可以找到这些异常信号，但只有AI能够在网络速度下整合所有分析维度，确保在面对海量消息时能够持续并可靠地执行检测。

AI解决方案还可以利用多个机器学习模型来识别带有恶意内容的信息。这些模型是基于被标记为恶意或无害的信息数据集进行开发、调整和更新的。某些供应商采用生成式AI技术，从已知的恶意信息中产生附加的样本数据，这为机器学习模型提供了更为丰富的优质训练数据。

能够战胜AI的，也就只有AI了。

实际上，不少组织已经在使用AI进行电子邮件安全防护。根据Osterman Research的数据，最近的两年内五分之四的组织已经部署了或正在积极推进基于AI的电子邮件安全解决方案，这种方案是在常规保护措施之外附加的。

其中，引进AI加强电子邮件安全的方式主要有两个方向：一方面是现有的电子邮件安全提供商将AI防护集成到他们的产品中；另一方面是组织正在刻意寻找新的AI启用的解决方案。

而在过去两年中，仍有五分之一的受访者没有采纳此类方案：12.7%的人没有实行任何解决方案，而6.0%的人正在积极探索和评估可能的选择。

从Osterman Research的数据来看，AI在提高检测效率和强化保护方面显示出了不俗的能力。

在采纳AI加强的电子邮件安全解决方案之前，各组织都有一定的检测效率。但随着网络罪犯使用AI提高攻击技术，没有AI保护的组织会发现他们的检测效率将受到严峻挑战。

只有魔高一尺道高一丈，才能把钓鱼邮件的攻防双方，重新拉回到AI技术这同一起跑线上。

文章来源： 科技新知，科创板日报，科技美学