近年来，生成式人工智能技术快速发展，为行业带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题。

据“网信中国”微信公众号消息，近日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》（以下称《办法》），自2023年8月15日起施行。

出台《办法》，既是促进生成式人工智能健康发展的重要要求，也是防范生成式人工智能服务风险的现实需要。

《办法》提出国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管，明确了提供和使用生成式人工智能服务总体要求。

提出了促进生成式人工智能技术发展的具体措施，明确了训练数据处理活动和数据标注等要求。

规定了生成式人工智能服务规范，明确生成式人工智能服务提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务，按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识，发现违法内容应当及时采取处置措施等。

此外，还规定了安全评估、算法备案、投诉举报等制度，明确了法律责任。

据了解，《办法》明确提供和使用生成式人工智能服务应当尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性等。

AI照“骗”破解之法

快速进化的AI生成技术，更是让生成假照片、图像/视频换脸更加真假难辨。今年3月，Reddit网友上传了一组记录2001年北美西海岸发生的9.1级地震和海啸事件的新闻事件，但事实上整组照片都是用AI文生图工具Midjourney生成的。

AI换脸冒充熟人新骗局亦高频出现。今年4月，福州市某科技公司法人代表郭先生10分钟内被人用佯装成好友的AI换脸视频诈骗430万元。无独有偶，5月，安庆市何先生因一段佯装成熟人的9秒AI换脸视频被诈骗245万元。

“有图有真相”已经成为历史，随着AI图像内容安全的警报频繁拉响、图像伪造门槛越来越低，加强AI反制技术研究愈发迫在眉睫。

近日，中国信通院、人工智能及大数据科技企业合合信息等机构联手启动了《文档图像篡改检测标准》编制工作。在上周举行的世界人工智能大会期间，合合信息分享了针对典型图像安全问题的三项重点技术：AI图像篡改检测、生成式图像鉴别、OCR对抗攻击技术。

1、AI图像篡改检测

合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，使用分割模型，Backbone使用ConvNeXt作为编码器，用LightHam和EANet两个网络并行作为解码器，结合图像本身的信息包括但不限于噪声、频谱等，从而捕捉到细粒度的视觉差异，达到高精度鉴别目的。

给定一张图片，输入到合合信息的AI图像篡改检测模型中，该模型就能迅速判别这张图像是否被篡改，并且精确定位到图像的篡改区域。篡改处会以热力图的形式呈现。

随着图片造假技术的提升和修图软件使用门槛的降低，很多时候，人眼必须进行非常细致地观察，才能发现这些篡改图像的端倪。例如银行等场景每天要审核大量的截图、照片，仅靠人工方式不仅效率低下，因疲惫而出错的概率也更高。相比人类，AI算法能够更高效稳定地检测到一些微小的、像素级的破绽，大幅提升核查效率。

2、AIGC生成式图像鉴别

输入一段文字就能生成以假乱真的图像，传几张照片就能进行视频换脸……爆火的AIGC（AI内容生成）技术，在为创作者提供了高效生产力工具的同时，也打开了潘多拉魔盒——一些不法分子用于造假新闻、规避版权、绕过活体身份验证、造谣诽谤、敲诈勒索，非法牟利。

过去“AI假脸”的纹理特征破绽较为明显，比如眼睛、牙齿轮廓细节不一致，连续动作实时渲染存在丢帧、不流畅等情况，这些“穿帮”画面仅凭肉眼就能察觉。但随着技术快速演进，生成式AI很快就能优化这些细节问题，生成更加以假乱真的画面。

合合信息研发的AI生成式图像鉴别技术，基于空域与频域关系建模，能在不用穷举图片的情况下，利用多维度特征来分辨真实图片和生成式图片的细微差异。

唐琪告诉智东西，该模型的设计融入了合合信息在真实场景中积累的大量行业经验。输入图片后，模型通过多个空间注意力头来关注空间特征，并使用纹理增强模块放大浅层特征中因为视频连续性特征而形成的一些细微伪影，增强模型对真实人脸和伪造人脸的感知与判断准确度。目前，相关技术也在不断迭代中。

3、OCR对抗攻击

OCR对抗攻击技术被用于防止不法分子利用技术手段非法爬取图片上的信息。

在日常生活和工作中，人们经常在网上发送自己相关证件、文件的图片，这些图片包含的个人信息（比如地址、银行卡号）可能会被第三方平台用OCR技术批量截获并泄露。

对此，合合信息研发了OCR对抗攻击技术来进行文档图片“加密”，对关键信息进行遮盖，在不影响肉眼观看的情况下，阻止图片中指定的目标文本被机器自动爬取。

输入图片后，首先通过已知的默认OCR系统检测图片中的文本位置和内容信息，指定目标文本后系统在目标文本的周围区域迭代地添加特定的高斯噪声、亮度变换等攻击手段，然后通过默认OCR系统的识别结果作为反馈调整迭代轮数，将对默认OCR系统攻击成功时的图片的最终结果送入目标OCR系统中进行验证。

该技术可在不影响肉眼观看与判断的情况下，对场景文本或者文档内文本进行扰动，对包含中文、英文、数字等关键信息的内容进行“攻击”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，有效降低数据泄露风险，以此达到保护信息的目的。

全球酝酿监管措施

不只在中国，类ChatGPT的生成式人工智能（AIGC）大模型引发资本竞逐，各国对于AIGC合规性的重视正在推动相应的监管措施出台。

欧洲一直走在人工智能监管的前沿。今年5月，欧盟议会已经批准了首个全面的人工智能法案。“我们希望人工智能系统准确、可靠、安全且无歧视，无论其来源如何。”欧盟委员会主席乌尔苏拉·冯德莱恩5月19日表示。

同样是在今年5月日本召开的七国集团（G7）领导人峰会上，成员国领导人承认需要对人工智能和沉浸式技术进行治理，并提出在今年年底之前创建一个专门讨论人工智能进展的部长级论坛，讨论围绕生成式人工智能的问题，例如版权和打击虚假信息。

英国竞争监管机构今年5月也表示，将开始审查人工智能对消费者、企业和经济的影响，以及是否需要新的监管措施。

爱尔兰数据保护负责机构今年4月表示，生成式人工智能需要受到监管，但管理机构必须在仓促实施“确实站不住脚”的禁令之前弄清楚如何正确监管。

美国商务部下属的国家标准与技术研究院6月表示，将成立一个由生成式人工智能专家志愿者组成的公共工作组，以帮助抓住人工智能带来的行业机遇并制定应对其风险的指导。美国联邦贸易委员会5月表示，该机构致力于利用现有法律来控制人工智能的风险。

日本隐私监管机构6月表示，已警告OpenAI不得在未经公众许可的情况下收集敏感数据。日本预计将在2023年底之前出台监管措施，这些监管措施可能更接近美国的态度，而不是欧盟计划的严格监管措施，因为日本希望这项技术能够促进经济增长，并使其成为先进芯片的领导者。

联合国秘书长安东尼奥·古特雷斯6月12日支持一些人工智能高管提出的建立像国际原子能机构这样的人工智能监管机构的提议。古特雷斯还宣布计划在今年年底前启动高级别人工智能咨询机构的工作，定期审查人工智能治理安排并提出建议。

面对生成式人工智能的全球监管趋势，吴沈括对第一财经记者表示，面对新技术新应用，需要持续地探索一套敏捷高效的监管机制和监管方式，最大限度地及时应对和处置伴生的各种风险类型。此外也需要持续地构建和完善一套经济、便利、可行的合规指引，使各方主体有清晰的合规标准和指向。

“良好的生态治理也需要各方最大限度地凝聚共识，在更大范围内形成有关新技术、新应用的治理的价值共同点以及共同认可的行为准则。”他说。

可以说，每一次技术革命都伴随着带来巨大的机遇和风险。对于生成式人工智能而言，只有建立起真实的用户调用和模型迭代之间的飞轮，AI模型才能变得越来越聪明，而如何在政策监管和技术发展之间找到平衡也考验着全球的监管机构。

文章来源： 上观新闻，快科技，智东西