AI大模型浪潮来袭，基于数据和算法的通用人工智能极有可能在未来重构社会生产力。然而，新形势下企业安全也面临新的挑战。

随着AI大模型的数据版权问题日益严重，网络上出现了许多针对AI大模型的陷阱。这些陷阱通过插入特殊数据来破坏AI数据库，导致AI产生完全错误的回答。这种行为最终迫使开发者回滚相关数据版本，并主动避开产生错误数据的网站，以保护自身数据版权不受侵害。这种行为被形象地形容为“毒丸”。

“毒丸”是一种防御策略，通常用于防止恶意收购或敌意收购。在AI领域，“毒丸”策略可以用来保护AI模型免受恶意攻击或篡改。由于AI大模型的数据版权问题日益突出，这种“毒丸”策略变得越来越普遍。

一、毒丸的危害有多大？

关注AI大模型领域的朋友，应该都还记得前段时间，国内某科技公司的市值一天内蒸发上百亿，而造成这个后果的原因就是该企业的AI大模型遭到污染，进而让AI生成了一篇有违主流价值观的文章，该文章被一位家长发现后发到了网上，引起了广泛关注。

值得注意的是，也有声音称文章并非由AI生成，而是AI在抓取网络资源时无意将其纳入数据库中，并在后续同步到了应用里，导致该文章得到了曝光。不管是什么原因，一个显而易见的事实都摆在我们面前，AI在分辨事物好坏的能力上，依然有着明显的欠缺。

早在AI大模型受到关注的初期，就有声音发出质疑：“如果我们给AI投喂一些有害的数据，是否就可以让AI成为一个坏人？”，答案无疑是肯定的。有人将AI部署到匿名网络论坛4chan中，学习论坛中各个用户之间的交流，在一段时间的训练后，开发者获得了一个“五毒俱全”的AI，它支持纳粹、支持种族歧视、支持种族清洗，并且擅长用各种恶毒的语言辱骂对话者。

这个结果甚至让开发者都感到震惊，同时也说明如果对AI的训练数据不加以甄别，就会导致AI的认知及回答都出现严重的错误。所以，主流AI大模型都会加入了多重纠错和屏蔽措施，避免数据库遭受有害信息的污染。

但是，相较于比较容易甄别及防范的文字数据，绘画等数据的“毒丸”则更加隐蔽且高效。此前，有黑客团队就为此专门开发了一套“投毒”工具，这套工具可以在看似正常的画作中加入特殊的特征码，使得AI将其误认为是另一个数据子集的作品，然后通过重复地污染数据池，来达到彻底破坏AI认知的目的。

如果说毒丸只用在备注了禁止抓取的画作上，那么这只能算是一次版权纠纷，而且多数网友或许也会选择站在画师一边。但是，开发者很快就发现有大量并未标识禁止抓取的作品也内置了毒丸，并且开始持续性地污染AI数据库，想要从浩瀚的训练数据中找出毒丸，难度却极大，可以说直接影响了AI绘画模型的训练速度。

如何防范毒丸的污染，已经成为各个AI大模型需要慎重对待的问题。

二、安全威胁的警示

面对不断变化的产业互联网环境，不仅要从此前屡次爆发的安全事件中吸取教训，更要对产业互联网可能遇到的安全威胁进行预判。

一直以来，技术都是数字产业的内核，而新技术的出现，除了给产业带来发展的新机遇外，同样也为安全带来了新问题。

报告指出，人工智能技术为各行各业的业务和人们的生活带来了巨大的发展潜力，也为网络安全形势带来前所未有的挑战。人工智能是一把双刃剑，一方面，人工智能可用于提高网络安全的效率，包括自动检测和响应威胁、智能识别漏洞；另一方面，黑客也可将人工智能技术用于网络犯罪活动，这将是对网络安全的真正威胁。

“在诈骗场景下怎么做角色扮演，怎么做钓鱼剧本，原来这些都是通过人工方式在做设计，现在有ChatGPT，我们已经观察到有一些犯罪分子在用ChatGPT做剧本设计。”腾讯安全策略发展中心总经理吕一平表示，按照经验，如果人工做剧本设计要花很长时间，因为要深入理解对方的工作，“你要扮演HR、保险公司业务员，就要对HR和保险业务有比较清晰的了解，但是现在通过ChatGPT可以大幅度提升这个效率。”此外，在专家看来，使用ChatGPT编写用于网络攻击的恶意软件代码，将会大大降低攻击者的编程或技术能力门槛，将导致即使没有技术基础也能成为攻击者。而报告更是指出，目前，网络攻击者已开始使用ChatGPT创建恶意软件、暗网站点和其他实施网络攻击的工具。未来，随着大模型AI计算被广泛应用于网络攻击各个领域，网络安全形势将更加严峻，攻防真正进入智能化对抗时代。

随着大模型AI计算被广泛应用于网络攻击各个领域，网络安全形势将更加严峻，攻防真正进入智能化对抗时代。

“以ChatGPT为代表的人工智能技术掀起新一轮的人工智能革命，也会引发潜在新型攻击和内容合规等安全风险。”在近日发布的《2023产业互联网安全十大趋势》（下文简称“报告”）中，对新技术新应用带来的安全威胁提出了警示，也引发了行业内广泛的讨论。

三、如何打好AI攻防战，避免AI被污染？

如何避免AI被污染？对此，开发者想了很多办法， 比如加入更严苛的数据审核制度，宁愿降低训练效率也要将疑似有问题的数据剔除出去。但是，这个方法的效果并不算好，随着审核力度加强的还有毒丸的隐蔽性。

通过特殊的算法，黑客团队也在不停地迭代更新投毒工具，让毒丸可以被尽可能地伪装成正常数据，进而骗过AI的安全机制，进入到核心数据区。或许10个毒丸只有1个可以安全过关，但是毒丸的生成速度极快，而摧毁一个数据库所需要的毒丸数量，其实只需几十个，一旦毒丸数量达到数百个，那么AI对某个事物的认知就会完全带歪。

此外，AI的学习能力也可以成为对抗毒丸的手段之一，将伪装后的毒丸进行数据标识，然后反复投喂给AI，让AI认识到带有此类特征的数据都是“有毒”的，进而让AI能够举一反三，从浩瀚的数据中分辨出有害数据。

当然，有些隐蔽的非公开投毒工具就无法使用这种方法进行对抗，此时就需要开发者进行定期的安全审查，核实并清除恶意数据，同时根据恶意数据的特征提高模型对恶意数据的应对能力。

不过这些方法都不够高效，需要开发者时刻关注并更新模型，那么是否有别的办法能够更好地解决这个问题呢？当然是有的，只不过需要付出更多的精力和成本，比如AI融合模型。

简单来说，就是将多个AI模型融合成一个模型矩阵，在输出数据前各个模型间先交换一轮数据，对输出内容进行审核，在交叉认证确认数据无误后再进行输出，考虑到一次性多个AI都被污染的概率很低，这种方法的效果和效率也是最高的。

但是，多个AI模型的混合十分考虑开发者的技术，会显著增加系统的复杂度和计算成本，对于许多尚未盈利的AI团队或是中小型开发团队而言，有点难以承担。所以这种方法大多被用在大型企业的AI模型矩阵中，为了确保输出数据的正确性（至少看起来不能有明显错误），这点成本可以说不值一提。

可以说，如今的AI模型训练已经不再是简单地比拼数据规模和算法架构，纠错及抗干扰能力也成为一个重要指标。随着AI大模型的应用越发广泛且用户群体日益壮大，如何保证AI在回答问题时不出错已经成为关键，考虑到如今草木皆兵，神经高度敏感的投资市场风气，一个小失误就损失百亿并非玩笑。

文章来源： 雷科技，南方日报