10月11日，全国信息安全标准化技术委员会官网发布《生成式人工智能服务安全基本要求》（征求意见稿），面向社会公开征求意见。

这是国内首个专门面向生成式AI安全领域的规范意见稿，也是对7月网信办等七部门推出的《生成式人工智能服务管理暂行办法》的支撑。

征求意见稿首次提出生成式AI服务提供者需遵循的安全基本要求，涉及语料安全、模型安全、安全措施、安全评估等方面。可以说，每一个生成式AI服务提供者都有必要对此进行细细研读。

按照意见稿总则，生成式AI服务要想获得备案“通行证”，需要按照本文件中各项要求逐条进行安全性评估，并将评估结果以及证明材料在备案时提交。换句话说，每一个大模型企业的生成式AI产品若想要“持证上岗”，就必须逐条核对是否符合这份文件中的要求。

提出四大安全要求

1、在语料安全要求方面，征求意见稿从来源安全、内容安全、标注安全三方面提出了要求。

比如：提供者要建立语料来源黑名单，不使用黑名单来源的数据进行训练，单一来源语料内容中含违法不良信息超过5%的就要“拉黑”；训练语料包含文学、艺术、科学作品的，应重点识别训练语料以及生成内容中的著作权侵权问题；应有多个语料来源，并应合理搭配境内外来源语料等。

2、在模型安全要求方面，征求意见稿从基础模型使用、生成内容安全、服务透明度、内容生成准确性、内容生成可靠性五大方面做出了严格要求。

比如：提供者如使用基础模型进行研发，不应使用未经主管部门备案的基础模型；应在网站首页等显著位置向社会公开第三方基础模型使用情况等信息；生成内容所包含的数据及表述应符合科学常识或主流认知、不含错误内容等。

3、在安全措施要求方面，征求意见稿从模型适用人群、场合、用途，个人信息处理，手机使用者输入信息用于训练，图片、视频等内容标识，接受公众或使用者投诉举报，向使用者提供生成内容，模型更新、升级，这七大方面提出了要求。

比如：服务用于关键信息基础设施、自动控制、医疗信息服务、心理咨询等重要场合的，应具备与风险程度以及场景相适应的保护措施；服务适用未成年人的和不适用未成年人的，应采取提及的不同措施；应设置监看人员，及时根据国家政策以及第三方投诉情况提高生成内容质量等。

4、在安全评估要求方面，征求意见稿从评估方法、语料安全评估、生成内容安全评估、内容拒答评估四方面给出了十分具体的参考。

比如：在语料安全评估方面，提供者对语料安全情况进行评估时，要采用人工抽检，从全部训练语料中随机抽样不少于4000条语料，合格率不应低于96%。

5、此外，征求意见稿还提出了一些其他要求，涉及关键词库、分类模型、生成内容测试题库、拒答测试题库等方面。

数据安全是生成式AI最大的安全挑战

在 ChatGPT 刚发布不久，意大利个人数据保护局就在 2023 年 3 月 31 日宣布禁止使用 ChatGPT，限制 OpenAI 处理意大利用户信息，并立案调查。4 月 11 日，美国商务部发布一份正式的公开征求意见函，征求对包括具有潜在风险的新人工智能模型在内的技术问责措施的意见，内容包括这类模型在发布前是否需经过认证程序。全球加强 AIGC 的监管力度的事实表明，数据安全和隐私保护已经成为发展 AIGC 的重要前提。基于功能特点以及当前 GPT 模型和算法的高速发展态势，AIGC 所暴露的数据安全问题主要体现在输入型和输出型两个方面。

1．输入型数据安全问题

在用户侧，发展到第四代的 GPT 多模态 LLM，可以接收文本和图像输入，很快将能接收音视频输入，且文字输入限制提升至 2.5 万字。然而，多模态的大批量输入信息很容易产生数据安全和隐私泄露问题。例如，OpenAI 在隐私政策中提到，ChatGPT 会收集用户账户信息和对话的所有内容，以及互动网页内的各种隐私信息（包括 Cookies、日志、设备信息等）。这些信息可能会被共享给供应商、服务提供商以及附属公司。英国国家网络安全中心在 2023 年 3 月 14 日发布的研究报告《ChatGPT 和大语言模型：危险在哪里？》（ChatGPT and Large Language Models: What's the Risk？）中指出，OpenAI 和微软等公司能够读取用户在人工智能聊天机器人中输入的查询内容。三星电子在引入 ChatGPT 不到 20 天就发生企业机密泄露事件。而且，用户在使用 LLM 时，出现了输入企业商业秘密和内部数据、个人信息、软件代码和敏感图片等情况，导致敏感数据和个人隐私泄露。这对 AIGC 平台用户而言，其首先面临的就是数据安全问题。如果用户使用境外部署的 AIGC 平台和服务，还会涉及数据跨境安全问题。

在平台侧，与其他人工智能模型一样，LLM 依然存在较大的数据投毒攻击风险。这类攻击是指攻击者向训练数据源注入恶意样本或修改训练数据标签信息，从而影响人工智能模型的推理或预测。具体的情况可能有三种：一是采用用户输入数据作为语料训练时，存在被数据投毒攻击的可能性，导致模型能力下降或出错；二是如果 LLM 采用互联网上被恶意投毒的公开数据源进行预训练，可能会引起模型生成错误的、语义不连贯的内容或执行非预期动作；三是当内容生成需借助额外的数据库、数据源时，攻击这些数据库和数据源也可达到数据投毒的效果。

2．输出型数据安全问题

对 AIGC 及其平台服务来说，有意或无意产生的输出型数据安全问题本质上都属于内容安全，涉及不同层次的五种类型：一是输出反人类、反国家和反社会信息，生成涉及意识形态、伦理道德、种族歧视、价值观和黄赌毒等方面的有害内容；二是输出侵权信息，生成侵犯知识产权、损害企事业法人单位利益、侵犯个人隐私的内容，例如产生侵犯知识产权和版权的文章、图片和音乐等；三是输出网络犯罪知识，生成危害网络空间的黑客工具、恶意代码和钓鱼邮件等内容；四是输出虚假信息，生成看似有说服力、貌似真实而实则虚假的信息；五是数据泄露，例如在某些情况下泄露的训练数据信息或用户的历史聊天信息被泄露给其他用户。

造成输出型数据安全问题的原因，很大程度上源于预训练数据集，用什么样的数据进行训练，就会得到什么样的 LLM，之后，才会涉及 LLM 模型本身、算法设计和参数。目前，LLM 参数已达到数千亿级别。此外，包括温度参数这样的超参数，都可以控制 LLM 的行为。通过采用特定的数据集训练 LLM，能够使 AIGC 面对某些问题时，给出倾向性明显的答案。更进一步地说，通过改变算法、调节 LLM 的参数和超参数，可以按需产生指向性明确的内容。因此，AIGC 平台不但在正常状态下由于训练集或模型原因可能会产生输出型数据安全问题，而且还可能会根据用户的类型和来源等信息，有针对性地产生输出型数据安全问题内容。

提示注入风险也是导致输出型数据安全问题的主要原因。2023 年 2 月 23 日，德国萨尔大学、亥姆霍兹信息安全中心与塞克尔公司的凯·格雷希克（Kai Greshake）、萨哈尔·阿卜杜勒纳比（Sahar Abdelnabi）等学者联合发表论文《比你要的更多：对应用集成大语言模型新型提示注入威胁的深入分析》（More than you've asked for:A Comprehensive Analysis of Novel Prompt Injection Threats to Application Integrated Large Language Models），展示了 7 种全新的注入型攻击向量与方法，而且，这些方法可能引发 LLM 被远程控制的风险，可能在经过提示注入攻击后生成违规内容。

自动化云安全成趋势

“如今各行各业的企业都希望能抓住生成式 AI带来的机遇开展业务创新，云上负载业务成爆发式增长，安全全面云化也是大势所趋。”亚马逊云科技大中华区安全合规与治理产品总监白帆告诉记者，生成式 AI需要依赖大量的数据和模型，任何一个环节的安全疏漏，如使用不安全的模型训练及微调、模型的泄露、不安全的应用、不安全的应用访问等等，都可能会导致企业自身数据及隐私的泄露，或者产生不准确甚至错误的结果。

该如何确保业务应用AI后爆发增长的同时，各个环节的安全合规？据悉，目前云安全正从被动防御变向主动设计，比如建立网络、存储隔离的独立安全通道，将安全功能嵌入AI应用之中等等，都是提升应用本身安全性的方法。

但在白帆看来，更重要的趋势，将人工智能（AI）和机器学习（ML）集成到云安全中，这些技术将通过自动化和增强各种安全流程来彻底改变该领域。人工智能和机器学习可以以前所未有的速度分析大量数据，识别可能被忽视的潜在威胁和异常。这种主动的安全方法允许早期发现和减轻风险，显著改善云环境的整体安全状况。

“我们内部有一句话说，如果一件事情需要重复地被人做两次，我们就会尝试把这个事情做到自动化，因为人是一定会出错的，自动化是不会出错的。”白帆告诉记者，云安全产品在设计之初就要考虑到面对业务暴增的情形，具备自动扩展的特性。

记者注意到，今年以来，亚马逊云计算部门显著增加对人工智能项目基础设施的投资，以1亿美元建立一个生成式人工智能中心。亚马逊第二财季财报显示，云计算部门净销售额达到221亿美元，同比增长12%，好于预期。

文章来源： 中国信息安全，北京日报，智东西