人工智能（AI）咄咄逼“人”？在全球监管呼声日益高涨之际，美国头部企业行动了。美国开放人工智能研究中心（OpenAI）、谷歌、微软和Anthropic公司26日宣布创办“前沿模型论坛”，以“确保安全、负责任地研发前沿人工智能模型”。

该论坛旨在为人工智能技术制定安全标准，推动下一代人工智能系统的安全研究和技术评估。该论坛还将成为企业和政府分享相关风险信息的中心。

此前，包括这四家公司在内的美国人工智能七巨头自愿承诺，确保人工智能开发的安全性、有保障性和可信任性。具体内容包括，企业须将相关系统交付独立测试，并开发工具提示公众该内容由人工智能技术生成。此外，这些公司还同意寻找人工智能之道来帮助应对社会挑战，从癌症到气候变化，并投资教育和新就业。

《华盛顿邮报》认为，这项由行业主导的举措表明，华盛顿的政策制定者开始努力应对新兴技术的潜在威胁之时，美国企业在制定人工智能开发和部署规则方面走在他们的前面。报道同时指出，一些人对行业介入风险存在担忧。“在经历了十多年的隐私漏洞以及危及儿童的事件之后，政策制定者一直说不能相信硅谷会制定自己的护栏。”

《金融时报》认为，论坛宗旨显示其工作重点是如何应对生成式AI的潜在风险，但并未回应监管部门当下关注的版权、数据保护和隐私等事宜。批评人士质疑，这些技术巨头“抱团”的实际意图是躲避监管。

美国华盛顿大学深入研究大语言模型的计算语言学者埃米莉·本德说，企业坚称推广AI技术安全研发是“维持自我监管的能力”，她对此“非常怀疑”。把公众注意力集中到对“机器取代人类”的恐惧会分散人们对数据窃取、监控等现实问题的关注，应该从公众利益出发，在监管领域有所作为。

论坛创办者指出，只有少数几家企业能成为论坛成员，进而打造“能力超越现有最先进模型的大规模机器学习模型”。密苏里州共和党参议员乔希·霍利表示，这些公司正是逃避监管的公司，他们是人工智能的开发商，也是投资者。

AIGC 内容安全问题

生成式 AI 可能被引导生成包含有害内容的文本、照片、视频，或用于非正当用途， 可能引发网络、社会安全及意识形态问题。

1) 网络安全：LLM 可以被用于生成钓鱼邮件，并通过提示词令 LLM 模仿特定个人 或群体的语言风格，使得钓鱼邮件可信度更高。安全机构 Check Point Research 在近期发 表的报告中表示已经在暗网发现有黑客试图绕过限制将 ChatGPT 用于生成钓鱼邮件等。 此外 LLM 可以辅助生成恶意代码，进而降低了网络攻击的门槛。

2) 虚假信息：1.深度合成成为诈骗手段之一。骗子可通过 AI 换脸和拟声技术，佯 装熟人实施诈骗。2.虚假内容对社会造成不利影响。生成式 AI 使得虚假信息变得更容 易、更快速也更廉价，AI 生成的虚假内容可能对社会造成不利影响。美国时间 5 月 22 日上午，一张由 AI 生成显示五角大楼附近地区发生爆炸的图片在社交网络疯传。据环 球网报道，图片开始流传的瞬间美国股市出现了明显下跌。

3) 意识形态：为提高 AI 面对敏感复杂问题的表现，开发者通常将包含着开发者所 认为正确观念的答案加入训练过程，并通过强化学习等方式输入到模型中。这可能会导致 AI 在面对政治、伦理、道德等复杂问题生成具有偏见的回答。OpenAI 于 3 月发表文 章《GPT-4 System Card》称，GPT-4 模型有可能加强和再现特定的偏见和世界观，模型 行为也可能加剧刻板印象或贬低性的伤害。例如，模型在回答关于是否允许妇女投票的 问题时，往往会采取规避态度。

ChatGPT 由于开源库 bug 导致信息泄 露，泄露数据分别为“设备信息”、“会议内容”与“订阅者信息”。根据 Cyberhaven 的 数据，潜在的数据泄露风险可能更高：每 10 万名员工中就有 319 名员工在一周内将公 司敏感数据输入进 ChatGPT，且这一数据较 2 个月前有所增长。截至目前已有苹果、摩 根大通、三星等多家企业禁止其员工与 ChatGPT 等聊天机器人分享机密信息。

数据泄露问题难以通过传统技术手段解决。数据安全的风险点在于，用户在与 LLM 交互的过程中输入的提示词可能被用于 LLM 迭代训练，并通过交互被提供给其他使用 者。大多数 DLP 解决方案旨在识别和阻止某些文件和某些可识别的 PII 的传输。而用户 输入 LLM 的文字更具多样性、不同企业对于机密数据定义的差异性较大、随 LLM 向多 模态发展输入的文件格式将更加丰富，这都使得数据泄露问题难以通过传统 DLP 手段 解决。

欧盟争取制定全球标准

2023 年 6 月 14 日，欧洲议会通过《人工智能法案》草案，欧盟人 工智能治理迎来最新突破进展。按照立法程序，法案下一步将正式进入欧盟委员会、议 会和成员国三方谈判协商的程序，以确定最终版本的法案。该法案通过将 AI 应用分为 不同风险级别，并针对不同等级风险实施不同程度的限制措施。作为全世界第一部综合 性人工智能治理立法，该法案将成为全球人工智能法律监管的标准，被各国监管机构广 泛参考。

欧盟成为 AI 立法先行者，布鲁塞尔效应有望再现。布鲁塞尔效应指欧盟通过市场 机制将其单边监管外化到全球，使得被监管的实体最终在欧盟外也要遵守欧盟的法律。 其原因主要有两点： 1) 欧盟拥有着比美国体量更大、比中国更富裕的消费市场。对许多公司而言，进入 欧盟市场的好处大于其适应欧盟严格标准所付出的代价。同时欧盟还建立了全面的体制 架构，并利用政治决心来贯彻其规定。 2) 欧盟拥有影响广泛的制裁权以及禁止产品或服务进入欧盟市场的能力。这种取 消市场准入的可能性有效地阻止了企业的违规行为，并促使其遵守欧盟的规定。导致企 业自愿推广欧盟标准以管理其全球业务。欧盟标准成为全球标准。

欧盟《人工智能法案》具有域外效力，目前即将进入欧盟启动监管前的最后阶段， 正式施行后有望通过布鲁塞尔效应进一步推动全球 AI 监管。

欧盟此前就已开始在AI监管领域进行布局。2019年4月，欧盟委员会发布人工智能伦理准则，列出了评价“可信赖人工智能”的7项标准。2020年2月，欧盟出台《人工智能白皮书》，提供多种政策选项，促进AI在欧盟的运用。2021年4月，欧盟委员会提出《人工智能法案》草案，此后欧洲议会和欧盟理事会就此进行了多轮讨论和修订，并在ChatGPT等生成式人工智能出现后对原草案内容进行了调整。2022年9月，欧盟委员会发布《人工智能责任指令》提案，拟就AI造成的损害设定赔偿规则。

德新社报道称，按照欧盟立法程序，接下来，欧洲议会、欧盟成员国和欧盟委员会将开展三方会谈，确定《人工智能法案》的最终条款。

AI安全中的万亿机遇

和AI Infra 一样，在中国，AI 安全同样面临着巨大的产业空白。不过，AI 安全产业链比AI Infra要更加复杂。一方面，大模型作为新事物的诞生，掀起了一波安全需求，且在上述三个阶段的安全方向和技术完全不同；另一方面，大模型技术也被应用在安全领域，为安全带来新的新的技术变革。

安全 for AI和AI for 安全，是两个完全不同的方向和产业机遇。

安全 for AI：3个板块、5个环节、10000亿机遇

在整个AI 安全中，数据安全贯穿了整个周期。

数据安全通常指用于保护计算机计系统中数据不因偶然和恶意的原因遭到破坏、更改和泄露的安全工具，以确保数据的可用性、完整性和保密性。

统筹来看，数据安全产品不仅包括数据库安全防御、数据防泄露、数据容灾备份及数据脱敏等，也涵盖关注云存储、隐私计算、数据风险动态评估、跨平台数据安全、数据安全虚拟防护、数据合成等前瞻领域，因此从企业视角围绕数据安全建设整体安全中心、在供应链视角推动数据安全一致性保障，将会是应对企业供应链安全风险的有效思路。

隐私计算是解决问题的方案之一。安全多方计算、可信执行环境、联邦学习是目前隐私计算的三大方向。隐私计算的方法有很多种，比如为了保证消费者的真实数据，为1个真实数据配备99个干扰数据，但这会大大增加企业的使用成本；再比如将具体的消费者模糊成小A，使用数据的公司只会了解到有一位消费者为小A，但并不会知道小A背后对应的真实用户是谁。

“混合数据”和“数据可用不可见”是当下应用最多的隐私计算方法之一。生长于金融场景的蚂蚁科技对数据安全的探索已经比较靠前，目前，蚂蚁科技通过联邦学习、可信执行环境、区块链等技术，解决了企业协同计算过程中的数据安全问题，实现数据可用不可见、多方协同等方式，保障数据隐私，并在全球隐私计算领域都有较强的竞争力。

但从数据的角度来看，合成数据更能从根本解决问题。合成数据即由计算机人工生产的数据，来替代现实世界中采集的真实数据，来保证真实数据的安全，它不存在法律约束的敏感内容和私人用户的隐私。

比如用户小A有10个特点、用户小B有10个特点、用户小C有10个特点，合成数据将这30个特点进行随机打散匹配，形成3个全新的数据个体，这并不对准真实世界的任何一个实体，但却有训练价值。

目前企业端已经在纷纷部署，这也导致合成数据数量正在以指数级的速度向上增长。Gartner研究认为，2030年，合成数据将远超真实数据体量，成为AI数据的主力军。

对于API，熟悉大模型的人一定不陌生，从 OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最强大的 LLM 都以 API 的方式交付能力。同时，根据Gartner的研究，2022年，超过九成Web应用程序遭到的攻击来自API，而不是人类用户界面。

数据流通就像水管里的水，只有流通起来才有价值，而API就是数据流动的关键阀门。随着 API 成为软件之间交流的核心纽带，它越来越有机会成为下一个诞生重要公司。

API最大的风险，来自于过度许可，为了让API不间断运行，程序员经常给API授予较高权限。黑客一旦入侵API，就可以使用这些高权限来执行其他操作。这已经成为一个严重问题，根据Akamai的研究，针对API的攻击已经占全球所有账户窃取攻击的75%。

这也就是为什么ChatGPT已经开放了API接口，仍然会有不少企业通过购买Azure提供的OpenAI服务来获取ChatGPT。通过API接口连接，等同于将对话数据直供给OpenAI，且随时面临着黑客攻击的风险，而购买了Azure的云资源，便可以将数据存储在Azure的公有云上，来保障数据安全。

目前API安全工具主要分为、检测、防护与响应、测试、发现、管理几大类；少数厂商宣称能提供完整覆盖API安全周期的平台工具，但如今最流行的API安全工具主要还是集中在“防护”、“测试”、“发现”三个环节：

目前，主流API安全厂商集中在国外公司，但大模型兴起后，国内创业公司也开始发力。成立于2018年星澜科技是国内为数不多的API全链条安全厂商，基于AI深度感知和自适应机器学习技术，帮为解决API安全问题，从攻防能力、大数据分析能力及云原生技术体系出发，提供全景化API识别、API高级威胁检测、复杂行为分析等能力，构建API Runtime Protection体系。

一些传统网络安全公司也在向API安全业务方向转型，比如网宿科技此前主要负责IDC、CDN等相关产品和业务。

防火墙在互联网时代的重要性不言而喻，如同走在万里高空两边的扶手，如今，防火墙概念已经从前台走向了后台，内嵌在了硬件终端和软件操作系统中。简单粗暴的，可以将SSE理解为一种新型的防火墙，靠访问者身份驱动，依靠零信任模型来限制用户对允许资源的访问。

根据Gartner的定义，SSE （Security Service Edge）为一组以云为中心的集成安全功能，保护对Web、云服务和私有应用程序的访问。功能包括访问控制、威胁保护、数据安全、安全监控以及通过基于网络和基于API的集成实施的可接受使用控制。

SSE包括安全Web网关、云安全代理和零信任模型三个主要部分，对应着解决不同的风险：

然而不同的SSE厂商可能针对上述某一个环节，或者见长于某一个环节。目前海外SSE主要整合的能力包括安全网络网关（SWG）、零信任网络访问（ZTNA）、云访问安全代理（CASB）、数据丢失防护（DLP）等能力，但国内云的建设相对来说也还处于早期阶段，并没有欧美国家这么完善。

因此，SSE的能力在当前阶段，应该更多整合偏传统、偏本地化的能力，例如流量检测的探针能力、Web应用防护能力以及资产漏洞扫描，终端管理等能力，这些能力相对来说才是中国客户在目前阶段更需要的能力。从这个角度来看，SSE需要通过云地协同的方式，云原生容器的能力，为客户带来低采购成本、快速部署、安全检测与运营闭环等价值。

AI for 安全：成熟产业链中的新机会

与安全 for AI 还是一个相对新兴的产业机会不同，“AI for 安全”更多是在原有的安全体系上做的改造和加固。

打响AI for 安全第一枪的仍然是微软，3月29日，在为Office套件提供AI驱动的Copilot助手后，微软几乎立刻就将注意力转到了安全领域，推出了基于GPT-4的生成式AI解决方案——Microsoft Security Copilot。

Microsft Security Copilot主打的仍然是一个AI副驾驶的概念，它并不涉及新的安全解决方案，而是将原来的企业安全监测、处理通过AI完全自动化的过程。

从微软的演示上看，Security Copilot可以将原来耗时几小时，甚至几十小时的勒索软件事件处理降至秒级，大大提高企业安全的处理效率。

微软AI安全架构师Chang Kawaguchi Kawaguchi曾提到：“攻击数量正不断增加，但防御方的力量却分散在多种工具和技术当中。我们认为Security Copilot有望改变其运作方式，提高安全工具和技术的实际成效。”

目前，国内安全公司奇安信、深信服也在跟进这方面的发展。目前这块业务在国内还处于萌芽阶段，两家企业也还没有公布具体的产品，但它们能够及时反应过来，跟上国际巨头的脚步已经实属不易。

4月份，谷歌云在RSAC 2023上推出了Security AI Workbench，这是基于谷歌安全大模型Sec-PaLM的可拓展平台。企业可以通过Security AI Workbench接入各种类型的安全插件来解决特定的安全问题。

如果说微软 Security Copilot是一套封装的私人安全助手，谷歌的Security AI Workbench就是一套可定制、可拓展的AI安全工具箱。

总之，一个大的趋势是，用AI建立一套自动化的安全运营中心，以此来对抗迅猛变化的网络安全形式将成为一种常态。

在头部大厂之外，AI大模型在安全领域的应用也正在进入毛细血管。比如，国内许多安全企业开始运用AI改造传统的安全产品。

比如，深信服提出“AI+云业务”的逻辑，推出AIOps智能维一体化技术，通过采集桌面云的日志，链路和指标数据，执行故障预测，异常检测，关联推理等算法，为用户提供智能分析服务。

山石科技将AI能力融合到正负反馈的机器学习能力方面，正反馈训练异常行为分析方面，基于行为基线的学习可以提前更准确地发现威胁和异常，且减少漏报；在负反馈训练方面，进行行为训练，行为聚类，行为归类与威胁判定。此外还有像安博通这样的企业，将AI运用到安全运营的痛点分析等等。

在国外，开源安全供应商Armo发布了ChatGPT集成，旨在通过自然语言为Kubernetes集群构建自定义安全控制。云安全供应商Orca Security发布了自己的ChatGPT扩展，能够处理解决方案生成的安全警报，并为用户提供分步修复说明以管理数据泄露事件。

当然，作为一个成熟且庞大的产业链，AI for 安全的机遇远远不止这些，我们在这里也仅仅只是抛砖引玉，安全领域更深、更大的机会仍然需要战斗在安全一线的公司通过实践去摸索。

更重要的是，希望以上公司能够脚踏实地，不忘初心。把自己海阔天空的梦想，付诸于一步又一步的实际行动中，不是造概念，迎风口，更不要一股脑迎合资本与热钱，留下一地鸡毛。

文章来源： 钛媒体，未来智库，新民晚报