据了解，OpenAI 正积极改进其保障内容安全的程序，以应对潜在的有害人工智能风险。旗下新建的“安全咨询小组”地位高于技术团队，将向高层提供战略意见，同时赋予董事局否决权力 - 至于其真正的影响力，目前尚不得而知。

此类策略的详细资料一般无需公开披露，因为其中大部分涉及内部运作规则、操作流程以及功能等公众未知的细节。尽管此次的情形亦然，但鉴于近期领导层变动及有关 AI 风险的持续争议，人们开始更加重视 OpenAI 在处理安全事宜方面的态度。

在新发布的文件以及博文中，OpenAI 揭示了他们改进后的“预备框架”。据悉，这可能是在去年的组织结构改革中做出的部分调整，该改革解聘了董事会里两位立场较为保守的成员：Ilia Sutskever 和Helen Toner。

此番改进的主旨在于清晰呈现发现、分析并决定如何处置其研发模型本身引发的潜在“危机”的规范路线图。依照该机构自我设定的定义：

我们所提及的危机，即可能造成巨额财产损失、众多人员伤亡乃至整个社会动荡的隐患，包括但不仅限于技术失控。

在此基础上，模型生产环节由“安全系统”团队负责，如通过设置 API 权限或限制手段以防范ChatGPT的误用。研发中的尖端模型则由“预备”团队承担风险检测工作，他们力求在模型释放前揭示相关风险因素。此外，还有一支名为“超级对齐”的团队，他们正在为开发“超级智能”模型制定理论指南。

据估算，前两种形式的风险较为现实且易于把握。其中，团队根据四大风险领域对每种模型予以评估：即网络漏洞、“说服力”偏差、模型自主决策以及针对 CBRN 威胁的敏感度。

在制定相应计划时：比如谨慎地禁止通过算法描述制造凝固汽油弹或炸弹的步骤。综合已知的计划保障措施后，若模型仍被评定为“高危”，则不应被投放市场；在被认定带有任何“关键”风险的情况下，将不再继续推进研发。OpenAI框架记录了每个风险的等级，便于客户了解其分配给特定团队及人员的决策权。在网络安全领域，"提升关键网络操作任务的生产效率"被标记为"中度"风险；同时，"设计并执行基于高级别目标的强化网络攻击策略"则被认定为"高度"风险。当然，此类行为并不是所期望的（尽管可能带来高收益）。

因此，OpenAI只接受"中度"与"高度"风险模型。然而，并非所有的模型创建者都是评估和推荐项目的最佳选择。为此，OpenAI计划成立跨职能安全咨询团队。团队成员将站在技术角度之上，审阅并提供具有全局视角的建议。尽管这些未知事项难以捕捉，他们仍期待能够揭示其中一些问题。

AI赋能安全攻击加剧整体安全威胁

大模型/生成式AI对于网络安全行业的影响与其他行业有所不同，AI不仅仅是对于安全产品形态本身带来改变（防御视角），而且能够通过大幅降低了安全攻击的门槛，进而带来行业总需求的提升（攻击视角）。AI将带来安全攻击的新变化：社会工程攻击、漏洞与攻击面发现、恶意代码生成等。AI/自动化攻击工具今年下半年进入规模化和产业化阶段。比如FraudGPT在暗网市场和Telegram平台进行售卖：1)1个月计划定价为200美元；2)3月计划定价450美元；3)6个月计划定价1000美元;4)一年计划定价1700美元。

AI/大模型存在原生安全问题，其中对安全投入影响最大的为数据安全和AI工程化领域。数据安全既包括了训练阶段数据采集不当、存在偏见或标签错误、数据被投毒等，也包括了模型在应用的过程中，面临数据泄露、隐私曝光等风险隐私曝光等风险。通常需要采取包括数据加密、隐私计算、数据清晰等数据安全保障手段。

多层次AI安全发挥效力

据GIR (Global Info Research)调研，按收入计，2022年全球多层次AI安全解决方案收入大约108170百万美元，预计2029年达到659820百万美元，2023至2029期间，年复合增长率CAGR为 29.5%。同时2022年全球多层次AI安全解决方案收入大约 ，预计2029年将达到 。2022年中国市场规模大约为 百万美元，在全球市场占比约为 %，同期北美和欧洲市场分别占比为 %和 %。未来几年，中国CAGR为 %，同期美国和欧洲CAGR分别为 %和 %，亚太地区将扮演更重要角色，除中美欧之外，日本、韩国、印度和东南亚地区，依然是不可忽视的重要市场。

多层次AI安全解决方案是指利用人工智能（AI）技术来构建多层次的网络和终端安全防护策略，以应对不断演变的网络威胁和攻击。这些解决方案结合了各种技术和方法，以提供更全面的安全性。未来的多层次AI安全解决方案将更加自动化，能够自动检测、响应和修复威胁。这将有助于减轻安全专业人员的负担。总之，多层次AI安全解决方案将继续适应不断变化的威胁景观，并借助AI技术不断改进，以保护个人、组织和企业的网络和数据安全。随着技术的发展，这些解决方案将变得更加智能和自动化，以应对未来的挑战。

AI引发安全产业变革

长周期看，安全行业并不缺少景气度（全球安全市场长期增速维持在7%-15%，国内安全市场短期虽然景气在低位，但长期预期复合增速仍将保持在19%左右），因此安全行业的机会往往来自于格局的变化（能够催生出大公司）。安全行业格局变化的机会大小与两个因素有关，一是技术的颠覆性，即是否能够带来产品的重要变化，二是赛道规模的大小，其中，单赛道级的变革有下一代防火墙、EDR、终端国产化等，而云和AI将对安全产业的影响将大于过去单点的技术和产品创新。

AI带来竞争格局改变的可能:安全大数据提升了安全行业的规模效应。数据成为关键竞争要素，数据能力(包括获取/处理数据的能力）决定了安全能力，AI+安全的核心壁垒，是用更强大的模型来挖掘安全大数据安全大数据的两大底座：云（足够大的数据量）+AI（足够强的数据分析能力），安全数据本质多源异构数据，从安全设备的二手数据到一手遥测数据，包括端点、网络、防火墙、电子邮件、身份和DNS，分析和关联所有这些本地遥测数据+云端威胁情报，集遥测数据的单独组件，以一致的方式将其组合在一起以识别和阻止威胁。大模型出现后，海外厂商强调的是AI带来的海量数据分析、理解、自动化处理和生成的能力，特别是那些云安全做的比较好且本身产品体系完善的厂商，用户多、数据多，规模效应更明显。

文章来源： 未来智库，AI时代生活指南，芋圆多加珍珠