上个世纪数据库东风成就了甲骨文,如今国产化机遇能否成就华为?

IT猿人 2023-06-20
3582 字丨阅读本文需 9 分钟

点份外卖、听一首在线歌曲、网购一件冬衣、扫码付款……在数字经济时代,这些场景已经成为生活中最平常的一部分。数字经济的飞速发展意味着海量数据的产生和处理,这背后,有一项技术尤为重要,它被称作数字经济的“根技术”,是连接上层应用和底层基础资源的重要纽带,那就是数据库技术。

随着数字经济时代的到来,数据库的重要性不亚于芯片。在互联网、物联网、大数据等领域,数据的应用越发广泛。随之而来的需求和挑战也日益增加,因此数据库技术得到了越来越多的关注和投资。

数据库,可以理解为是一个“电子化的文件柜”,按照数据结构来存储和管理数据,和操作系统一样是非常重要的基础软件。因此,数据库技术也一直是国家“核高基”项目重点攻关领域之一,而金融、政府、互联网和运营商则是数据库的主要应用市场。

长期以来,微软、甲骨文等巨头在该领域拥有着强大影响力,但随着国产数据库的不断创新,这种局面正在逐渐改变。

甲骨文们的黄金时代

上世纪70年代,IBM的天才研究员科德,率先提出关系型数据库的理论、模型,甚至把查询语言SQL也琢磨了出来。但当时的“蓝色巨人”,沉浸在大型计算机巨大的商业成功里,对数据库软件兴趣寥寥。

结果,“硅谷大忽悠”拉里·埃里森,抓住了逆天改命的机会。

他认真研究了科德的论文,觉得极富商业价值,并在1977年创立了数据库公司甲骨文(Oracle)。早期的Oracle相当不靠谱,但在埃里森的巧舌如簧下,美国海军、中情局、国家航天局等一帮“冤大头”,依然为Oracle买了单。

彼时,神州大地万物复苏,中国计算机学会敏锐把握到了科技的脉搏,在黄山召开了第一届数据库年会。可惜的是,这个时代中国的数据库技术,始终囿于高校和科研机构里。但拿到“第一桶金”的甲骨文,很快走上了正轨。

80年代,美国数据库市场迎来井喷,甲骨文的Oracle、IBM的DB2、微软的SQLServer等,如雨后春笋般冒了出来。

产业的风口,让甲骨文迎来了发展的春天。它不但创造了连续12 年销售翻番的奇迹,成长为全球第二大软件公司;连埃里森本人也一度问鼎“硅谷首富”,与比尔·盖茨不相伯仲。

不过1996年,诞生在瑞典的免费数据库MySQL,给巨头们带来了一丝挑战。但在霸主甲骨文坚持不懈的猎杀下,2009年MySQL也臣服在甲骨文麾下。

美国的数据库产业在高歌猛进,中国的数据库技术却尘封在象牙塔里。结果90年代,当甲骨文们来到中国,基本是大杀四方的状态。

1995年,邮电部提出“九七工程”,使得国内第一批数据库企业有了发展的土壤,在少数大学和国家机关得到应用。但最终,还是甲骨文乘着工程的东风,接连拿下东北邮电、中国电信等超级大单。至此,中国的金融、电信、航空等领域,逐渐被“IOE”(即IBM的小型机、Oracle的数据库、EMC的存储设备)横扫。

据全国人大代表、合肥工业大学应用数学所所长檀结庆调研统计,2020年之前,甲骨文、IBM、微软等巨头把持了87.7%的全球份额,处于绝对垄断地位。

关系型数据库统治全球40余年,成就了甲骨文们的黄金时代。

华为数据库正在突破甲骨文的垄断

5月22日,华为完成一件了不起的大事:全球88家子公司的MetaERP系统,成功实现大规模切换。

这是一场史无前例的“全球总动员”。整个切换过程耗时15小时,地跨亚太、欧洲、中东中亚、南部非洲、拉美5个地区部、6个账务共享中心、75个国家,涵盖ICT、华为云、终端等多个产业。

从未有哪家中国企业,进行过规模如此之大、范围如此之广、复杂程度如此之高的软件工程,这也是“华为有史以来最广泛、最复杂的转型项目”。

6月7日,华为云再度揭开了新一代金融级分布式数据库GaussDB的帷幕。

孤注一掷下,GaussDB实现两大突破:

一是核心代码,100%自主研发;二是,GaussDB是国内首个软硬协同、全栈自主的数据库,即可以实现从芯片、服务器、存储、网络,到操作系统、数据库的全栈迁移及替换。

要知道,芯片、操作系统、数据库,号称现代信息技术的三大核心基础。但不论是X86的CPU,Windows、Linux的操作系统,还是Oracle、MySQL的数据库,基本都被美国把持。数据库的重要程度,更是不亚于芯片。大到国家统计、金融交易,中到企业管理、财务信息,小到聊微信、刷抖音、点外卖、玩游戏……APP、小程序的背后,都是数据库作为底层核心在支撑。而且,数据库都是7X24小时不间断运转,不仅要安全可靠、无时延快速地记录每笔数据,甚至在“618”“双11”这种数据洪峰面前,都不能有丝毫错误。

2020年“两会”期间,全国人大代表、合肥工业大学应用数学研究所所长檀结庆对媒体表示,甲骨文、IBM、微软等国际厂商把持着87.7%的市场份额,数据库行业基本被美国垄断。

由于牵一发而动全身,数据库产品极具黏性,导致在最核心的金融、能源、通信等关键领域,即便有全面断供的风险,也鲜有人动得了Oracle们的“奶酪”。

如今华为云GaussDB的问世,正试图击破这块“铁壁”。

历时23年,强渡“大渡河”

实际上,华为下决心自研数据库的初衷,一点都不“高大上”。

2000年,华为的电信业务迅猛增长。但客户这边业务结算耗时长,甚至结算不了的状况,让人大伤脑筋。因为电信业务定制多、改动大,只能用国外数据库。可一旦出问题,“原厂大佬”又请不动。

客户很着急,问题很严重。华为人只能壮着胆子,试着改一改,写起了数据库代码。

事就是这么干起来的。

但自研数据库,决不能拿客户当“小白鼠”。所以,“狗粮”必须自己啃,数据库先在内部用。结果一用,问题不断,骂声一片,“吐槽”的邮件雪片般飞舞,甚至捅到高管层,让研发团队大呼“要命”。所有人都不自觉在拿业界的最高标准Oracle,来要求初生的华为数据库。

而开发数据库的内核,更像在刀尖上起舞。因为如果第1颗“扣子”没“扣正”,你可能并不知情;但等问题一暴露,你发现已经“扣歪”了10万颗“扣子”了。

这时候,多年的心血付之一炬,架构又要推倒重来,没有人扛得住这样的泣血折磨。

但是正是在客户的“骂声”、华为自身内部业务的打磨下,经过多个技术路线融合、多个版本迭代下,才形成了今天的分布式数据库GaussDB。

2022年4月,中国邮政储蓄银行(以下简称“邮储银行”)新一代个人业务分布式核心系统成功上线,一举成为全球最大的银行分布式新核心系统。核心系统是银行的“大脑”和“心脏”,不但承载关键任务,而且在亿万次存储、计算中不容丝毫闪失。以往,这是Oracle才能染指的“禁区”。

但金融服务在线化,使交易频次极速提高,传统Oracle数据库的容量瓶颈、性能支撑、业务负载越来越大,系统资源缺乏弹性,拥堵成了家常便饭。

这次,华为云GaussDB无缝衔接,打破“铁律”。

新系统上线后,邮储银行实现日均20亿笔、峰值6.7万笔/秒的超强交易处理能力。即便面对6.5亿客户、4万多个网点的数据冲击,依然游刃有余。全天联机平均耗时从93毫秒减少到65毫秒,批处理时间从4.5小时缩短到3小时,季度结息时间从140分钟缩短到25分钟,性能、效率大幅提升。

2023年4月,在“英雄强渡大渡河”MetaERP表彰大会上,华为宣布:自主可控的MetaERP完成了对旧ERP的完全替换。

在这场世界级难度的攻坚战中,华为云GaussDB作为MetaERP的智能数据底座,凭借其高弹性、高性能、高可用等特性,通过了这场终极挑战。

首先,ERP每天要处理海量的业务和数据,其中包括各类应用与ERP的逻辑集成点3950个、数据集成点27000个,以及销售订单行76万、应付开票行21万、会计分录行1500万……

由于华为的业务极度复杂,账本业务量几乎是业界第一,对存储空间要求极高。

但华为云GaussDB通过GTM-Lite技术,实现了计算与存储的自由水平扩展,并能根据业务压力动态伸缩读节点,读吞吐量提升2倍,主/读节点间数据同步秒级时延;容量更从单库TB级扩展到PB级;支持业务压力自动负载均衡,一举解决了传统数据库扩展性不足的问题。

因此,即使面对超大规模业务,以及ERP海量数据存储和并发访问的压力,华为云GaussDB照样能轻松应对。

其次,ERP频繁的业务查询,需要系统在面对成倍并发量时,性能依然保持稳定。

为此,华为云GaussDB通过使用大并发线程池技术,不仅大幅提高系统响应速度,还最大程度节省了资源;加上全新上线的Ustore存储引擎,能将“有效数据”与“垃圾数据”分离存储,同时采用多版本索引技术,有效提升了存储空间的效率和性能。

由此,华为云GaussDB性能抖动降低70%,整体性能提升10%以上;而3000万笔/天的会计分录峰值处理,从30分钟延时变成了实时处理,效率大幅提升。

再次,在高可用性方面,华为云GaussDB还提供了同城AZ(物理资源)内、跨AZ、异地跨Region的两地三中心容灾方案和1000公里以上的城市级容灾能力。

哪怕故障的发生不可避免,跨AZ切换时间短于1分钟,城市级故障分钟级恢复,并确保每一笔交易准确记录,真正实现“数据零丢失、业务永在线”。

23年磨一剑。今天,人们得以见证GaussDB的崛起。

未来2至3年将逐渐实现国产化替代

进入数字化时代以来,随着我国产业数字化转型进程不断推进和数字经济繁荣发展,更加复杂多样的应用场景涌现,对数据库技术提出了更高的要求,为国产数据库提供了源源不断的提升空间。

谈到数据库领域的快速发展,专家认为,近三年来,国产数据库持续发力,逐渐进入核心行业和系统。不过,国产数据库企业的崛起,最关键的不是技术本身,而是数据库生态的建设。

根据数据模型的不同,数据库可以分为关系型数据库(SQL)和非关系型数据库(NoSQL)。其中,关系型数据库作为传统数据库产品,诞生时间早于非关系型数据库,产品体系更加成熟,在我国数据库市场中占据主流地位。

在此背景下,国产数据库领域一直努力打破国外技术垄断,试水突破新技术,已经开始了对金融、政务领域核心系统的替换。近年来,国内互联网、通信科技巨头华为、腾讯、阿里等公司也纷纷加速布局数据库产业,借助云计算优势进行相关数据库服务的研发。

以腾讯为例,目前,腾讯云数据库TDSQL助力20余家金融机构完成了核心系统替换,推动金融核心数据库国产化进入规模化复制阶段。基于TDSQL打造的张家港农商银行新一代核心业务系统,是国内银行首次在传统核心业务系统场景下采用国产分布式数据库,打破了该领域对国外数据库的长期依赖。

不仅如此,国产数据库厂商已超过200家,包括传统数据库厂商、云服务巨头、新兴初创型企业以及跨界玩家在内的四类市场参与者表现活跃。

专家预测,接下来2至3年,数据库国产化会经历非常快速的过程,其中,金融、政务等领域,将有望率先实现全面的国产化替代。

文章来源: 华商韬略 ,中国科技信息

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:IT猿人
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...