您现在的位置是:首页 > 鉴定专家

向“新”而行的人 | 他们,接住了“双11”的泼天流量……

岁月留金阁 2024-11-08【鉴定专家】238人已围观

简介导读我们生活的时代是一个创新的时代,不断推陈出新的科技正应用于生活,服务于生活。这个“五一”小长假,“问北京”推出特别报道《向“新”而行的人》,聚焦与新科技相关的六个岗位上的六名一线劳动者,讲述他们向新科技而行的故事。数据库和操作系统一样,是IT基础软件的“命门”,重要性不亚于芯片。如果把数据库比作...

导读


我们生活的时代是一个创新的时代,不断推陈出新的科技正应用于生活,服务于生活。这个“五一”小长假,“问北京”推出特别报道《向“新”而行的人》,聚焦与新科技相关的六个岗位上的六名一线劳动者,讲述他们向新科技而行的故事。



数据库和操作系统一样,是IT基础软件的“命门”,重要性不亚于芯片。如果把数据库比作“大脑”,曾经,绝大部分机构和企业的“大脑”都是外国数据库。2009年起,“双11”成为中国现象级商业活动,可技术团队每年感受到的焦虑却逐年递增——如果继续使用外国的数据库服务,假以时日,这笔服务费就将“吞掉”企业每年所赚的利润。2014年,国产自研分布式数据库——OceanBase临危受命承担了支付宝10%的交易流水,如今这个比例已经达到100%。今天,我们就来认识这位接住了“双11”泼天流量的人——OceanBase的首席技术官杨传辉。

接住“双11”泼天流量

在位于北京朝阳区望京地区的高层写字楼内,身着黑色POLO衫、戴着框架眼镜、笔记本电脑不离手的杨传辉,十分符合我们对程序员出身的“科技圈大佬”的想象。说起现在的“双十一”,杨传辉一脸的轻松。

杨传辉:2019年以后“双11”我都不去杭州了,就在北京,已经很轻松了,一点不紧张。

和如今的“风轻云淡”不同,2014年,杨传辉和他所在的OceanBase团队提前2个月,就要为“双11”的交易峰值反复演练,不知喝掉了多少罐红牛:

杨传辉:2014年是OceanBase第一次应用在核心交易,所以那一年我是紧张的。它是纯数据库,两类问题很严重,第一类问题是丢数据,只要出现过一次就是致命的,这个数据库可能就没有未来了;第二类问题是故障,如果出现了大故障,那肯定大家也不会用这个数据库了,所以“双11”主要看这两个问题。第一年很紧张,喝红牛,确保自己不睡着。


从0到1打造国产自研分布式数据库

和芯片相比,数据库对于大众来说还略显陌生。杨传辉喜欢把数据库比作一名“超级会计师”,如果没有数据库,我们存储的数据可能会像把一堆书随意堆放在房间里,不易找寻还容易丢失。但有了数据库,就能按照特定的规则和顺序来存放这些数据,还能进行各种查询、更新、删除等操作。作为存储、处理、分析数据的关键技术,数据库被誉为数字经济的底座。

过去几十年,中国所有的数据库市场几乎被一家外国数据库垄断。创立于1999年的阿里,一度也曾是外国数据库的标杆客户,淘宝、支付宝等公司,98%以上的软件系统和业务都跑在外国数据库上。可随着线上购物的访问量、交易量指数级攀升,所对应要购买的数据库资源也随之直线攀升,逐渐让企业不堪重负。杨传辉说:

杨传辉:2010年的时候,我们已经能够预见到互联网跟移动互联网会快速发展,当时的数据库除了贵以外,还有一个问题就是它原来设计的时候它是集中式的,只能用来处理小数据,没有办法处理大数据,所以它真的面对高并发的一些场景,没有扩展能力,因为你要去换硬件,你要换机器是很难的。互联网的需求爆发式增长,我们需要一个有扩展能力的分布式数据库,所以我们就决定自己做。


2008年从武汉大学计算机专业毕业后,杨传辉“专业对口”地一头扎进互联网公司,成为了一名程序员。两年后,杨传辉追随王选院士弟子——阳振坤加入蚂蚁集团,一行一行代码开始了国产自研分布式数据库之路。

杨传辉:OceanBase是2010年开始立项,2014年才是应用在交易,也就是应用在第一个核心系统。前面5年其实是从0~1的一个过程,这个过程非常难。首先你做一个这样的大规模的分布式的数据库,它最难的在于怎么把它做稳定,真的说它在生产系统里面跑的时候,有很多流量的时候,它不会出故障,不会丢数据,这叫稳定。



OceanBase的灰度升级/

图源:《分布式关系数据库OceanBase的高可靠性》作者:阳振坤

与欧美主流的集中式数据库相对的分布式数据库,如同把一个大仓库分成了多个小仓库,这些小仓库可能分布在不同的地方,但它们之间是联网的,可以互相通信和交换数据。当一个地方的数据量特别大或者需要处理的数据特别多时,就可以分散到各个小仓库去处理,这样就不会“堵车”,成本更低、效率也更高。可从集中式数据库到分布式数据库,相当于要改变房屋的“承重梁”,推进之难可以想见:

杨传辉:就要有真正的流量来去用它,用了以后才能暴露问题,那暴露问题了之后你解决了之后才能越来越稳定,这是这样的一个一个闭环。但是你不稳定别人为什么要来用?所以说它是一个鸡生蛋跟蛋生鸡的问题,一开始面临的问题就是:你不稳定我就不用,你不用我就不稳定,所以形成了一个闭环,这是中国所有软件它从0~1难的原因。



OceanBase是如何走向核心舞台的?

团队一个一个地跑业务部门,最终在公司的支持下,2011年,淘宝的收藏夹成为“第一个吃螃蟹的人”。过去集中式数据库无法做到将收藏分类储存的同时,还能让用户在打开收藏时查阅到实时价格,并按高低排序,而OceanBase自主研发的分布式数据库做到了:

杨传辉:有一些人他收藏的很多,可能收藏了几万条,而且他还把自己的收藏分类,你有几万条的时候你要瞬间能看到,比如说按价格排个序对吧?集中的数据库解不了这个问题,只有用分布式数据库,再加上我们用了一个非常特定的一个设计来把它这个问题解决掉。而且我们得给他设计一个这种一点一点灰度过来的方案,就流量一点一点切,出现了问题还能回去等等这一系列的方案,把这些全搞定了之后呢,第一个用户后来才使用了OceanBase。

真正让OceanBase走向核心舞台的,是2014年的双十一购物节。彼时正值移动互联网爆发阶段,阿里巴巴的业务飞速发展,按照当时的业务量做全链路压测时,此前使用的集中式数据库出现了抖动,“几分钟就要坏一个盘”。OceanBase临危受命,最终把10%的交易流量接住了。至今,杨传辉还记得那一年他坐在大屏前,紧张等待验证结果的场景:

杨传辉:流量高峰对系统的压力是很大的,我们提前两个月左右的时间,从9月份开始就开始做双11的准备工作。这个准备工作叫全链路的压测。简单来讲,就是把当天的流量做一个模拟,甚至比双11更大规模的流量来去实际地压测系统,看一下哪个环节有问题。它会驱动蚂蚁、支付宝所有的技术团队都协同起来。


杨传辉在TED演讲现场/图源:bilibiliapp

期待登上更大的世界舞台

天时、地利、人和,OB接下了这“泼天”的流量。如今,OceanBase不但被全面应用于孵化它的支付宝,而且开始对外输出,开源且独立运营后,已服务超过1000家客户,涵盖金融、政务、能源等诸多行业,让全世界拥有了第一个可以大规模应用在金融核心业务的中国数据库。

杨传辉:OceanBase它在整个数据库领域里面有几个点是做的最领先的,我们叫原生分布式。它从这个产品的特性来看的话,主要包括两个点,第一个点是扩展的能力,我们可以随时按需加减服务器,双11之前给加上去,容量一下就扩上去了。双11之后我马上要把这些机器给收回去,这样子来节省成本;第二个能力是容灾的能力叫高可用,能够做到机房甚至城市发生故障的时候,能够完全百分百的无损容灾。在数据库行业的基础设施里面,我们取得过多次世界第一。


Ocean的中文翻译是“海洋”,这个命名蕴含着团队对国产自研数据库未来将支撑处理海量数据的期待。杨传辉希望OceanBase这个中国人打造的“数据大脑”,未来能登上更大的世界舞台:

杨传辉:只能说是我们这个万里长征的第一步走得还不错,走得还比较扎实。今天我们又把OceanBase应用在各行各业,第二步走得也还不错,但最终能不能走到真正的这个长征的终点,我觉得还是需要我们花很大的精力的。因为我们的终点是什么?数据库它要么不做,要做就只能做得很大,做到让这个数据库在全球范围之内,变成一个受欢迎的的产品。

小问说

打造中国“数据大脑”,

牢铸数字经济底座。

原创稿件转载需授权否则举报

问精彩

问民生丨材料都进好了,《许可证》也有了,为何工程却被停工了?

问民生丨“要么降租,要么解约”,退租潮下的自如能否“自如”……

问民生丨向“新”而行的人丨罗晓——“采销东哥AI数字人”背后的人

很赞哦!(153)