得底层创新者得天下,大厂进入AI底层框架争夺赛,剑指下一个五年

人工智源库 2022-07-04

人工智能谷歌tensorflow

3614 字丨阅读本文需 9 分钟

得底层创新者,得天下。

智能手机时代,PC巨头微软,试图与苹果iOS、谷歌Android进行“三国杀”;AI时代,在深度学习底层框架的江湖中,谷歌和Meta你追我赶,互不让步。

由于AI底层框架投入资金量大、风险大,所以几乎只有不差钱的科技巨头才有实力投入重金,如国外谷歌的TensorFlow和Meta的PyTorch,国内百度的PaddlePaddle。

“实力雄厚的美国互联网巨头对AI底层技术战略性投入力度较大,但中国的AI产业主要受需求拉动,大多数AI公司布局应用层。国内大部分公司的AI研发都选择使用外资巨头开源的TensorFlow、PyTorch等深度学习底层框架。”中金基金在研究报告中表示。

AI底层框架之争,纵有TensorFlow、PyTorch、Keras、Caffe、MxNet百花齐放,但最终还属谷歌和Meta两分天下。如今,TensorFlow与PyTorch几乎平分春色。

近日,外媒Business Insider采访了一系列开发人员、硬件专家、云供应商以及与谷歌机器学习工作关系密切的人,获得了同样的观点:2015年诞生的TensorFlow,曾经辉煌一时,而Meta在2017年开源的PyTorch正在成为该领域的霸主,在此战争中,谷歌开始押宝JAX。

1、大厂进入新赛点

随后,TensorFlow官方博客回应,没有放弃TensorFlow,将与JAX 并肩发展。

虽然谷歌否认,但这个曾经帮谷歌打赢李世石,让谷歌AI一战成名的AI框架,已经开始跌落神坛。

不过,谷歌试图通过“自我革命”来重现当年TensorFlow一统天下的雄风,这个艰巨的任务则由新的深度学习框架JAX实现。Google Brain、DeepMind、DALL·E Mini等等的背后都有JAX的身影。据《商业内幕》透露,预计在未来几年内,JAX将覆盖谷歌所有采用机器学习技术的产品。

从TensorFlow到JAX, 随着AI发展阶段的变化,底层框架的创新和上层应用的关系也在发生微妙的变化。

“传统的技术研究是从底层入手,逐渐发展,最后形成demo或产品业务,但现在应用层的业务需求可以反馈影响到底层设计。”作为技术人员,林吉向光锥智能分享了对AI行业阶段性变化的观察。人工智能科学LeCun也曾公开表示,深度学习框架之间的激烈竞争,已经进入了一个新的阶段。

大厂的AI底层框架之争,是一场与时俱进的AI基础设施建设军备赛。

2、人工智能时代,强者更强

就全球人工智能格局来看,谷歌、微软、Facebook、百度是公认的四大AI巨头。百度作为拥有强大互联网基础的领先AI公司,展现出强劲技术创新实力。2020年,百度核心研发费用占收入比例达21.4%,研发投入强度位于中国大型科技互联网公司前列,连续三年在人工智能专利申请量和授权量方面蝉联中国第一,使之成为世界领先的AI公司。未来,百度将继续在人工智能领域的基础研究、基础技术和底层创新上狠下硬功夫。

在AI能力输出方面,百度旗下深度学习平台飞桨无疑是重要的基础技术底座。飞桨不仅降低了AI开发者门槛,还促使AI广泛落地,为各行业带来创新活力。例如一位来自电子科技大学生物医学工程专业研究生同学谭玉博,依托于百度飞桨的Paddle Lite和Android Studio开发跌倒监测报警手机客户端,能够让老人在面临摔倒等危险状况下,通过智能设备进行呼救,从而更好地保障老人安全。

还有诸如成都国铁电气设备有限公司研发总监、“吴文俊人工智能自然科学奖”获得者胡文锐博士,不但基于飞桨研发了地铁轨道智能巡检检测系统,还使用飞桨相关技术能力优化模型及部署,有效实现铁路智能巡检的降本增效、加快工业实践落地。类似这样的个人及企业开发者还有很多,目前,飞桨平台凝聚了超过265万开发者,服务10万多家企业,创建超过34万个模型,使百度人工智能技术广泛应用各行业,推动各产业加速智能变革,让AI无处不在。

总之,AI开源平台及机器学习工具可以说是助推人工智能应用落地的核心驱动力。 TensorFlow、PyTorch以及国内的飞桨PaddlePaddle是被最广泛使用的三大AI开源平台,开发者以此构建、部署人工智能应用。

以谷歌为例,旗下TensorFlow是一个端到端开源机器学习平台,于2015年开源。作为在全球广泛使用的AI开源平台,去年有数据显示下载量突破1亿大关。无论是哪种语言,都可以在云端、本地轻松训练和部署模型,成为国内外众多企业的选择,包括英特尔、IBM、优步、阿里、腾讯、小米等科技企业。

阿里巴巴是国内最早使用TensorFlow的互联网巨头之一。2016年就开始对TensorFlow进行研究,结合阿里巴巴推荐、搜索、广告等核心业务,锤炼TensorFlow对超大规模稀疏模型的训练能力。比如,原生 TensorFlow 中进行超大规模稀疏训练时,存在分布式扩展性不足的问题,对此,阿里巴巴团队为 TensorFlow 社区贡献了grpc+seastar及FuseRecv两个功能。在一些典型的业务场景下,这大大提升了稀疏模型训练的分布式扩展性。

人工智能的广泛应用,离不开AI开源平台、机器学习工具,以此消除人工智能门槛。而这样的AI基础设施掌握在谷歌、Facebook、百度等少数厂商手中,开发者基于开源平台进行技术创新。值得一提的是,AI开源平台从开发者到生态,使用规模越大,框架越好用、成熟。因此,只有大规模的开发者使用,才能不断形成滚雪球效应。飞桨则凝聚了近300万开发者,无疑是国内最大的开源平台AI生态。

开发者规模日益壮大,展现出强者更强的格局。早前,权威调研机构IDC公布了2020年下半年深度学习平台市场份额报告。其中显示,谷歌、百度、Facebook稳居中国市场前三,共同占据70%以上市场份额。国产自研的百度飞桨作为AI时代的重要基础设施,助力全社会智能化转型的同时,也为世界经济释放增长潜力。

3、AI如何与IoT、大数据等融合,构筑稳固的技术底座?

未来的技术底座虽然构成多元,但主线是一贯的,本质上是对数据资源的利用。在这样的框架中,会看到大数据是数字经济的战略资源;5G、云和芯片是基础设施;AI与物联网、边缘计算的融合是新的生产力;区块链则有望成为下一代互联网的基石组件,构建基于机器信任的生产关系。技术大融合的趋势中,企业要想站稳脚跟,应该关注底层共性技术。

在新基建的七大核心板块中,与半导体集成电路产业直接相关的有四项:5G、人工智能、大数据、物联网。它们并不是独立的技术,而是相互融合、叠加的。新基建的新愿景,应该是利用基础技术推动新的技术平台和应用的落地,AI方面除了原有的训练、推理等技术分类,在新基建方向下应该有新的技术分类,比如AI5G、AI云计算、AI存储、AIoT等等,是基于已有的5G、云计算、存储、IoT等去升级且应用。因此技术底座更注重的是基础资源层,包括计算平台、数据采集、数据汇聚、数据存储、数据挖掘等,AI基于原有的技术,去构筑这个技术底座。

以智能语音与其他代表性技术的融合为例谈到,一方面体现在多模态的方案中,除了基于声学的音频,还有视频的识别,再加上感知层的传感器、边缘端的计算、本地的算力等,让AI的识别效果在端侧就提高到一定程度,这也需要算法的不断演进;另一方面,不论是端侧产生的还是处理之后的数据,到云上再做处理时,与传统直接在云上处理的数据不一样。在进行大数据处理、语义理解、知识图谱等处理时,距离理解话语中的含义、文化背景等还有较大差距,AI在这方面应用离需求还有明显的距离,需要从业者不断演进模态的融合和数据结构化的处理。

4、如何正视AI“理想”与“现实”之间的距离?

AI技术还有点像三岁小孩,比原来智能了,但还达不到那么高的预期,仍在持续演进中,不过这个演进的速度是非常快的。以算法的推进为例,有的算法是按小时迭代上线的,有的是按周来迭代上线的。对于芯片企业,常常跟不上算法对芯片的直接要求。最终将产品、服务提供给客户时,算法和芯片最后融合成什么样,往往在客户、普通消费者眼里会产生理解或感知上的偏差。但是,AI被纳入新基建范围中,必然会加速行业的应用和落地,会越来越接近甚至超出我们的预期。

现阶段人工智能在各行各业的普及和应用率还是很低的,这也是理想和现实中存在的差距。造成这个现象的原因还是整个生态链不够健全,需要更完整的生态链的互动、合作和融合。以EDA工具为例,也在被AI革命性地改变,它可以通过大规模扩展对设计工作流程中选项的探索,同时自动化较少的决策,彻底改变芯片的设计。SoC团队能够以专家级的水平去进行操作,可以把专家需要耗费一个月才能完成的设计,压缩到短短三天。我们要坚信AI是无处不在的,它可以改变我们的生产方式和提升我们的生产力。

AI真正落地需要打通从云到端的壁垒,其中带来的问题是多样的。算法方面,将算法迁移部署到设备端,但在实际推理过程中往往影响算法模型的性能。算力方面,设备端对功耗的限制不支持高能耗的AI芯片。数据方面,端侧场景需要实现基于小样本数据的推理,与服务器高吞吐的训练场景不同。为了克服这些差异,需要研发基于端侧设备的芯片。AI芯片在指令集架构的选型、功耗和算力的规划上要贴合端侧场景,以最大程度满足设备端的需求。其次在应用方面,AI行业应用需要在成本、效率和数据安全之间取得平衡。

5、AI企业如何打造生态圈?

AI作为技术和服务的一种形式,是呈现给行业合作伙伴和企业的,最终消费者并不知道或不在意其中用了什么样的AI技术,而是注重获得了什么样的服务体验。对于AI企业来说,就要努力打造生态圈,让企业之间、行业之间的融合和推进更加顺畅,共同提供好的技术和平台服务。

在新基建的背景下,不管什么行业的人都用同一种思维方式、同一个目标去思考问题,这就是一个生态圈。要打造成功的生态圈,可以从几个层次展开:首先是如何创造出新的智能应用系统,这是企业、从业者需要常常思考的问题;再高一个层次,需要思考如何应用这些新技术、产品,在哪些领域可以把智能贯穿下去;更高层次的思考是,如何让社会更智能化、增加社会的智力,比如智慧城市、智慧国家的概念,这需要基于底层从一个个产品、技术、行业,进行更高维度的思考,大家需要有这样统一的思考方式去带动AI进入各行各业。因此,生态圈建设应该囊括如下领域:基础资源层生态的融合,包括芯片、IoT、5G等;不同技术层面的全套解决方案的融合,包括算法模型、大数据、语音识别、视频识别、事件识别等;应用层面要做到跨行业的融合,需要在生态圈纳入各个领域的系统公司、方案公司。

建立生态圈首先要推动基础设施标准的建立。新基建技术类别众多,不同行业、企业之间的实际应用场景也各不相同。以物联网为例,不同细分行业中的设备和系统繁多,彼此之间割裂,协议互不相通。只有在行业中形成统一的协议标准和数据使用标准,才能真正意义上实现万物互联。同理,在其他技术领域中也需要加快标准研发,从而形成行业合力,真正推动新基建建设。当在基础标准有了统一的标准指引后,再往下到行业、产业、各种不同的平台和应用就会容易很多。

来源:电子发烧友,光锥智能,杨剑勇

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:人工智源库
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...