试想一下，有人将一张“贴纸”贴在面部，就可以使人脸识别门禁系统误认为是你，从而轻而易举打开大门；同样是这张“贴纸”，把它贴在眼镜上，就可以1秒解锁你的手机人脸识别，探取隐私如入无人之境。这并非科幻大片的想象，而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

AI工程化时代来临比预想中更快，但是安全问题也浮出水面。

AI工程化时代来临

“AI已经从实验室走到了工程化时代，而且比预想中更快。”万达信息副总裁兼科技中心总裁陈诚感慨道。

从第一届大会时，语音识别开幕式嘉宾发言，到今天遍地开花的人工智能应用场景，AI历经五年发展，结出累累硕果。

“随着人工智能技术的大规模普及，AI场景的应用是非常碎片化的，每个场景的用户量都不是非常巨大，但都有其特定场景的应用价值存在。”陈诚说。

为应对长尾且多元化的AI需求，在研发了多个AI产品基础上，万达信息推出了自研的AI科技中台，可以为AI模型全生命周期提供标准化管理工具和流程，构建了数据、算法、应用、服务的全链路AI闭环，旨在通过标准化支撑能力实现AI应用快速创新和应用落地。“未来这一中台能力还将开放给客户和行业伙伴使用，进一步降低AI应用门槛，解决中小场景中AI应用规模不经济的问题。”陈诚表示。

安全风险浮出水面

前不久，由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办的首届人工智能安全大赛落幕。大赛期间，有关人工智能安全风险引发讨论。与会专家表示，人工智能安全风险已非未来挑战，而是眼前威胁，要重视人工智能安全体系建设，加快促进人工智能安全领域关键技术研究与攻防实践。

人工智能和其他通用技术一样，在高歌猛进的同时，也带来了一定的风险和隐患。曾获“吴文俊人工智能优秀青年奖”的瑞莱智慧首席执行官田天认为，人工智能技术风险发生的范围，正随着应用场景的日趋广泛而逐步扩大，风险发生的可能性也随着其应用频次的增长而持续提高。在他看来，人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。

从人的视角来评估人工智能的安全问题，首当其冲就是技术的两面性问题，存在人工智能滥用的问题。具体到人工智能的应用中来看，最为典型的代表就是深度伪造技术，它的负向应用风险持续加剧且已产生实质危害。

此次大赛的人脸识别破解演示，所揭示的正是系统的风险，它来自深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”，具有不可解释性，意味着系统存在结构性的漏洞，可能受到不可预知的风险，典型的就比如现场演示的“神奇贴纸”，其实就是“对抗样本攻击”，通过在输入数据中添加扰动，使得系统作出错误判断。

这一漏洞在自动驾驶感知系统同样存在。正常情况下，在识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在目标物体上添加干扰图案后，车辆的感知系统可能会出错，径直撞上去。

大赛期间，《人工智能算力基础设施安全发展白皮书》发布。其中提到，人工智能算力基础设施不同于传统的算力基础设施，既是“基础设施”又是“人工智能算力”也是“公共设施”，具有基建属性、技术属性、公共属性三重属性。相应地，推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力。

统筹发展和安全，似乎是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展最为重要的命题之一，现场多位专家就此话题展开讨论。

“人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。模型有错误，就需要进行及时的修复。”中国科学院信息安全国家重点实验室副主任陈恺提出“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。

陈恺表示，不同于传统的模型修复工作需要重新训练模型，或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量数据样本，能够大幅提升模型修复效果。

开放环境下的人工智能系统面临诸多安全挑战，如何解决通用人工智能算法全周期的安全保障问题成为重中之重。

北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙表示，从技术上来看应形成从安全性测试到安全性分析与安全性加固的完整技术手段，最终形成标准化的测试流程。

他同时指出，未来的人工智能安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一套从硬件到软件的安全可信计算环境。

工商银行金融研究院安全攻防实验室主管专家苏建明表示，人工智能安全治理需要广泛协作和开放创新，需加强政府、学术机构、企业等产业各参与方的互动合作，建立积极的生态规则。政策层面加快人工智能的立法进程，加强对人工智能服务水平、技术支撑能力等专项监督考核力度。学术层面，加大对人工智能安全研究的激励投入，通过产学研合作模式加快科研成果的转化与落地。企业层面，逐步推动人工智能技术由场景拓展向安全可信发展转变，通过参与标准制定，推出产品服务，持续探索人工智能安全实践及解决方案。

事实上，构建人工智能的安全生态，一方面需要技术的持续演进，一方面也需要专项技术人才的建设与培养。田天表示，由于人工智能安全研究目前仍属于新兴领域，专项人才较少，缺乏系统性的研究队伍，此次大赛通过实战演练的方式，验证和提升选手实战能力，为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

AI技术的弊端

在有关新一代网络安全技术的讨论中，AI无疑是一个高频出现的词汇，总是被反复提及。当前的网络攻击形势愈发严峻，安全人员对于利用AI技术保护数字资产表现出了极大热情。而AI技术开发人员更是对“AI能够增强网络安全防御能力”这一愿景持乐观态度。他们认为，人为错误是不可避免的，而AI技术可以利用大数据和机器学习持续性观察和监控威胁发展趋势，从而优化提升某些防御行为。

但事物总是具有双面性，随着对AI技术应用效果的观察，很多用户和安全专家发现，目前的AI技术还并不能成为网络安全领域的“救世主”，至少并非像很多安全厂商宣传的那样。人们往往只关注AI的好处，却有意或无意地忽略了它的应用缺陷。这种对AI看法的偏见引起了一些研究人员的担忧，他们认为，尚不成熟的AI技术应用，正在为网络攻击者制造新的漏洞。

研究人员发现，AI技术在网络安全方面的应用弊端主要包括以下几点：

1、过度依赖大数据

掌握充分的数据是AI技术应用的基础，如果不考虑数据质量和充分性，AI的准确性就会无法保证。如果组织希望利用AI技术检测网络威胁、预测攻击并做出相应的反应，就必须通过机器学习算法模型提供大量的真实数据训练它。对于大型组织来说，这可能不是问题，因为他们本身就拥有大量数据。但是，对于那些只想保护自己的网络安全的中小型企业用户呢？目前，安全厂商正在给用户营造的印象是，AI技术是包罗万象的，但事实却并非如此，因为对那些缺少大数据资源的企业或组织而言，几乎无法有效使用AI技术。

2、数据泄露

就保护数据隐私而言，处理数据的人越少越好。因为在网络安全领域为实施AI技术创建基础环境既不容易也不便宜，它需要高水平专业技术技能支撑。当企业无法自己管理运营基于AI技术的安全解决方案时，将不得不将其外包给第三方供应商，虽然相关供应商可能会做出“保密”的承诺，但事实上，这个过程增加了企业的数据暴露面和攻击面。同时，第三方供应商也可能为了自身利益而滥用客户数据，并且难以被监控审计。

3、黑客的目标

网络犯罪分子也在将紧跟网络安全趋势视为首要任务。随着AI技术在网络安全方面应用受到广泛关注，他们正竭尽所能地利用这一趋势。当安全专家尝试用最新的算法加强安全防御时，网络犯罪分子很可能已经在这些算法中发现了新的安全漏洞。在网络安全领域，没人能垄断AI技术，独享其带来的优势。入侵者和防御者之间存在一场利益争夺。如果入侵者没能抢在防御者前面，他们的恶意企图就不会得逞，所以入侵者也同样会努力保持领先。

4、AI应用技能不足

拥有一个良好的网络安全环境并不是只靠部署最新的技术就能实现，而是需要能够理解安全防护技术的原理并有效地利用它。除非是专业的网络安全人士，否则很难具备彻底使用AI技术的知识和技能。即便雇佣了AI专业人士来管理网络安全，但如果相关负责人员不了解算法及其工作原理，也无法获得理想的结果。而且，供应商所使用的算法模型可能并不适合企业的网络，如果企业对此并不了解，也将无法获悉这一点。

5、没有创造力和自发性

网络安全技术的目标是为了解决安全问题，因此并不存在完全通用的网络安全方法。就好像在“地面”部署的防御机制可能阻止不了来之“空中”的打击。为了能够及时找出恶意活动，必须要能够应用自发策略来管理特定的攻击。网络专业人士拥有实时遏制网络攻击的专业知识，他们可以用自己的创造力和自发性来应对独特的环境。而这一点正是AI技术所缺乏的，因为它主要是通过持续训练来养成分析和处置行为的。当一些未经过AI算法训练的恶意活动出现时，它将无法保护您的系统，因为AI技术缺乏人类即兴发挥、随机应变的第六感。

6、不切实际的期望

AI技术在网络安全领域的过度炒作让很多用户产生了不切实际的期望。似乎有了AI，就可以不用担心网络攻击了。但这是一个不能实现的承诺，因为AI技术远非完美。AI安全系统是由人设计的，因此根本无法避免漏洞的存在。尽管，AI算法可以为企业提供更好的决策和分析所需的数据，但它并不能为组织的网络安全需求提供“万能的”解决方案。因此，企业在应用AI技术前，必须准确了解它可以为自身的网络安全增加哪些价值，以及应如何实现这种价值。

尾声

专家们认为，从长远看，人工智能的安全问题，还需从算法模型的原理上突破，唯有持续加强基础研究，才能破解核心科学问题，同时他们强调，人工智能的未来发展需确保对整个社会、国家发展的有效性和正向促进性，需要政产学研用多方协同共进。

文章来源： 安全牛，中国青年网，中国财富网