剑指云内存数据库,阿里云在下一盘大棋

剑指云内存数据库,阿里云在下一盘大棋


「The real battle will be in databases.」

在 2019 数据技术嘉年华大会上,阿里云数据库产品事业部总经理、李飞飞曾引用 AWS 创始人 Jeff Bezos 的话:数据库是企业云上的终极之战。在这终极之战中,阿里云无疑是国内数据库引领者:

据 Gartner 最新发布的 2020 年度全球数据库魔力象限报告,阿里云首次进入全球数据库领导者象限,这是中国数据库 40 年来首次进入全球顶级数据库队伍。

回顾历史,阿里探索之路十分踏实,完整地从商用、开源、再到自研走出自己的数据库发展之路,历经层次型和网状型、关系型数据库时期,作为基础软件的“三驾马车”之一的数据库,未来还有哪些更多的可能性?

阿里将目光投向云数据库,如今在企业级云原生数据库赛道上,阿里推出云原生关系型事务数据库 PolarDB、分布式版 PolarDB-X;在 OLAP 领域,推出云原生数据仓库 AnalyticDB、云原生数据湖分析 Data Lake Analytics;在 NoSQL 领域,拥有云原生多模数据库 Lindorm 和内存数据库 Tair——100% 兼容开源社区版的 Redis。

“云原生内存数据库解锁存算一体”。在 12 月 13 日刚刚结束的 2020 云内存数据库峰会暨 Tair 大赛颁奖典礼上,李飞飞如是说。为何他如此说?云原生内存数据库在企业实践如何应用?今天我们从阿里云的角度下,纵观云原生时代,内存数据库的过去与未来。

剑指云内存数据库,阿里云在下一盘大棋

云原生重新构建下一代数据库


据 IDC 发布《数据时代 2025》报告显示,全球每年产生的数据将从 2018 年的 33ZB 增长到 2025 年的 175ZB,平均每天约产生 491EB 的数据。据最新数据统计,到 2025 年,中国数据总量预计将跃居世界第一,全球占比达 27% 以上。由于众多业务场景有数据实时在线化处理需求,到 2022 年,50% 以上业务将采用实时处理数据方法支撑业务在线化,给数据库带来不少挑战。

正值数据爆炸时代之际,企业和开发者面对前所未有极速增长的数据外,如今数据结构愈发多样,非结构性数据占比将会大幅度提升。据李飞飞介绍,从字节数的比例来讲,非结构化数据占比达 50% 以上,同比增速为 50% 以上。李飞飞相信,在传统针对结构化数据的关系型数据库市场外,一定有更大针对半结构化数据的非关系型数据库市场,将半结构化、非结构化数据的处理实时在线化。

回顾数据库的发展,从早期的结构化数据 OLTP 场景,到大量数据需要做在线分析,由此衍生出传统数仓。时间滑到 2000 年,大数据生态诞生,但由于当时的非关系型数据库和数仓没有进行海量并行分布式处理的能力,于是谷歌“三驾马车”诞生,奠定大数据生态的基石。

如今来到云时代,大数据和数据库的技术边界变得越来越模糊,假如我们要将数据处理一体化,数据处理实时在线化,那么离线、在线边界将变得越来越模糊。这背后关键推手是云计算,即用虚拟化的技术实现资源池化。

由于传统数据库是紧耦合的设计方式,类似于以前各家用水时是在院子里打水井使用,但水井的容量是有限的,水不够了怎么办?资源使用方式没有半点弹性。

来到云原生时代,我们将一百个水井底部打通,表面看是一百个独立的水井,但底下是连在一起,资源已池化,每个水井都可以弹性使用这些池化资源。这是云计算的本质西,存储计算分离,计算资源隔离,实现资源池化。

阿里云综合多元异构数据处理、分布式技术、云原生的能力,来打造下一代 Tair 内存数据库系统。

放眼全球,阿里云数据库表现优异,当前在云数据库赛道上营收位于全球第三,在中国关系型数据库市场份额排名第一

“这不仅是阿里云的突破,同时代表中国这几十年来,尤其是云计算兴起后,中国在数据库领域丰富的经验积累,厚积薄发的结果。”李飞飞说道。


剑指云内存数据库,阿里云在下一盘大棋

进击的阿里云内存数据库


回顾云内存数据库的发展历程,可以分为传统缓存、内存数据库、云原生内存数据库三大发展阶段。

回顾缓存时代,其定位简单,即利用内存的访问速度进行加速,缓存加存储二次结构,该时期诞生 Redis、Memcache 等风靡全球的开源缓存层。

但仅做缓存加速是不够丰富,随着企业场景的迭代和丰富,我们需要支持更加丰富的计算、企业级能力(如持久化等),内存数据库由此诞生。来到云原生时代,云内存数据库可提供更好弹性、更低成本、更方便的使用方式来提供高效内存的数据、智能化存储能力,做到“计算存储一体化”。

为何是云内存数据库能做到?

据李飞飞分析,传统内存数据库有三大瓶颈挑战:

第一成本,内存是所有存储组件中最昂贵的部分,其成本一定是用户选择内存数据库首要的考虑条件。

二是弹性,无论是缓存还是内存数据库,环顾今天市场上提供的所有解决方案,其缓存设置的实际弹性不足,如用户选择 8G 内存,很难在线的情况下灵活调整内存的大小,如将 8G 调到 9G、10G。通常难度较大根据业务波峰、波谷变化来实时调整和使用弹性部署不同容量的内存,其弹性能力是受到限制的。传统内存数据库的计算和存储是紧耦合,并没有解耦。

三是计算能力。上文提到,非结构性数据的占比达 80% 以上。这些数据需要更丰富的计算能力,而不是简单的传统结构化数据点查询、聚合查询。需要进一步做向量分析、向量处理,向图数据类型临近点分析等处理。

四是企业级能力。随着企业业务逻辑快速变更,需要通过企业级能力(如持久化、智能分层存储等)来应用对在线数据访问的关键路径需求,如异步访问、同步访问等。

如何解决这些挑战?

“仅从软件、算法层面的突破是不够的。”李飞飞强调。因为首先数据库是系统,早年他学习系统时,“System”翻译成中文就是“高效、安全、可靠地使用有效的硬件资源——系统”。所以我们首先要解决硬件资源,李飞飞举了个通俗易懂的例子:所谓“巧妇难为无米之炊”,“巧妇”即你的算法、软件系统,但用什么样的米(硬件)来做饭,做出来饭的味道就是不一样。所以我们要根据硬件发展特点设计来优化软件系统。

根据以上分析,阿里云在部署云内存数据库时从以下维度来入手:

一是极致弹性,无损扩缩容。如将存储、内存池化后,可根据业务的波峰波谷做弹性变化,如从 8G可调到 9G、10G,从 10G 无缝弹回 8G、6G。在做弹性时需做存储计算分析解耦,这样可以做到更低的成本,让用户不需要为峰值买单。在传统结构下,没办法不按照峰值容量部署,其使用成本高。如今来到云时代,资源池化、资源解耦后可按需按量使用,用户只需像使用自来水一样,按需按量付费即可,可大幅度降低成本,还可消峰填谷,可用多租户的技术实现消峰填谷。

二是计算模型,非结构数据下,新一代云内存数据库需支持图计算、文本计算、图片计算,因此我们需提高对压缩处理、向量处理、矩阵处理等技术。由于在深度学习领域,很多非结构化数据本质上是非向量化,用特征提取变成向量。阿里云研发 Tair Graph Database 来支持对图数据海量在线实时的处理。

三是企业级能力,Tair 拥有全分布式、数据闪回、数据洞察、热点打散等能力。其中全分布式可部署在多个AZ,数据 跨 AZ 实时同步和部署,并多点读取,实现就近内存数据的访问和跨域跨 AZ 容灾。在一些视频场景里存在突然爆发的热点,因此 Tair 实时热点打散能力,可对在线教育、在线游戏、出海等业务提供非常好的支持。

四是安全,一些企业和金融机构对数据安全要求较高,Tair 在传输和通信都使用标准的加密和协议进行保护。

此外,随着开源之火席卷全球,MongoDB、HBase 等开源数据库生态建设迅速,开源将是云内存数据库新未来吗?

拥有 25 年开源经验的阿里云智能基础产品事业部技术战略总监陈绪表示,“开源兼容的数据库将成为未来的方向。”

陈绪进一步分析道,如今云数据库有自建和使用商业服务这两种模式,可简单分为有钱没时间的人和有时间没钱的人。对于第一类人来说,由于会聚焦自己的业务应用和场景,通常会选择 Tair 等数据库,既可以满足需求,又无需考虑数据库维护工作。对于第二类人而言,公司在进行自主部署过程中,如果直接拿开源社区的代码,将付出很多意想不到的艰辛研发工作,包含产品迭代、备份、两地三中心等。陈绪认为,从长期来看,这两类产品在阿里云将会共存,而开源是基于标准建立生态的一种手段。


剑指云内存数据库,阿里云在下一盘大棋

Tair 解锁存算一体


Tair 不是新产品,最早是为支持双十一,阿里完全自研的产品,目前已连续 12 年稳定支撑天猫双十一,峰值访问 15 亿每秒。

经历十余年阿里真实大规模数据场景的锤炼,Tair 结合最新英特尔傲腾芯片,可支撑游戏、电商、风控、政务、通讯、物理网、社交等不同领域的应用场景。

例如在内存在线处理上,当前在线教育、在线游戏场景下,有明显超大的容量、非常容易爆发的热点,可将单节点击穿。另外,这些场景对数据回滚、归档的要求较高,也需对数据实时在线监测,做报警预告。利用上文的 Tair 企业级能力均可较好支持这些业务的需求。如对任意时间节点恢复,对数据洞察,由于 Tair 100% 兼容开源社区版的 Redis,可达到两倍以上的性能提升,将数据归档备份从小时量级降到分钟量级,数据分析能力可以让排查效率提升十倍甚至更高以上。

例如,南瓜电影使用 Tair 企业级功能实现数据多地域同步,为 3000 万终端用户带去较极致的体验。

在安全风控上,在淘宝、天猫、饿了么等阿里内部应用场景可见到 Tair 的身影。由于在线风控要求实时性非常高,一旦发现异常用户、异常账号等行为,如果不是及时在线实时发现,事后亡羊补牢是不足的。我们将 Tair 企业级能力和云原生能力结合起来,可低成本、弹性地提供对风控实时在线的要求。Tair 对多模型计算能力的支撑,如 Tair GDB 对风控场景有较好的支持。

阿里云相信下一代 Tair 将解锁存算一体,实现真正存储计算在内存层面的一体化。

除了将 Tair 等能力赋能给企业客户外,据陈绪介绍,阿里云积极与生态伙伴携手合作,致力做“世界最新科技的集大成者”。例如和英特尔等上游厂商保持密切互动,关注新技术动态,从应用场景分析如何将技术赋能给用户。

2019 年,在云栖大会上,阿里云和英特尔共同发起“领航员”计划,充分发挥将阿里云在云计算的优势和英特尔在智能计算的优势,共同强化技术创新。在2020的云栖大会上,“领航员”2.0 计划启动,并公布阿里与英特尔的最新技术创新进展,如共同开发云原生软件、推出多个基于英特尔傲腾持久内存的云实例等。如 最新发布的阿里云持久内存型实例,就是源于“领航员”计划的创新。

陈绪表示,类似上述的新型技术,将通过各种途径和方法分发给用户和合作伙伴,让技术在持续演进的“练兵场”上得到实践,更快到达公共云上的用户。


剑指云内存数据库,阿里云在下一盘大棋

云时代下,阿里云内存数据库新飞跃


云原生时代下,阿里云如何进一步加码内存技术?

陈绪首先表示“狭义的云原生是落后的概念”。他进一步补充道,本质上“云原生”即为云而生,在云上生、云上长。当前有很多硬件和软件创新是为云准备,没有云根本它们不需要改变,所以假如这个软件或者硬件的出现是为云而诞生,便可称为“云原生”。以阿里云自研的“神龙架构”为例,如果以当前大众的理解,似乎不是涉及云原生,但在他的理解里神龙架构即为云原生硬件。

基于此,在本次 Tair 大赛中,我们看到阿里云在云时代下,继续加码内存存储,最新推出持久内存型实例是目前全球唯一提供 VM 级别产品的。

据陈绪介绍,最新发布的阿里云持久内存型实例基于阿里云神龙架构,虚拟化开销为 0,计算性能优异。支持 ESSD,可将 AEP 作为 ESSD 的上级缓存,让应用数据流更顺畅,性能更优异。Alibaba Cloud Linux 2操作系统原生支持,并在 Redis 应用场景下做针对性优化,性能比搭载社区版操作系统提升 20% 以上。

此外,该持久内存型实例基于 英特尔傲腾持久内存,可将持久内存配置为普通内存,单 GB 成本降低 35%,并用在 Redis、参数服务器等内存型数据库应用上。还可作为普通 SSD 使用,实现超高的性能,据陈绪介绍这是当前世界上性能最好的磁盘介质,延时低至 400ns,IOPS 超过 100 万。对于重 IO 的应用来说,如核心的交易系统、游戏前端具备极大的优势。

谈及云原生内存数据库的未来,陈绪表示,作为云原生数据库的新形态,阿里云内存数据库必将为 IO 密集型应用带来质的飞跃。

上一篇:NEWS | 新大陆电磁兼容及可靠性实验室投入使用
下一篇:【报告】2020年中国共享汽车市场白皮书(附31页PDF文件下载)

相关推荐

引进培育更多更强的大数据龙头企业

1063 贵阳晚报

  潘朝选  以液晶面板为主打产品的晶泰科(贵州)光电科技有限公司,生产车间70%以上为自动化作业模式。该公司的生产线“智能升级”工程,对企业长远发展、提质增效意义重大。我们要从类似成功案例中充分汲取经验,进一步顺“数”而为、综合施策,坚持引进与扶持并举,让大数据龙头企业强起来、多起来,加快数字经济发展。  省委十二届八次全会强调,实施数字经济万亿倍增计划,

【观察】“凌动数据管理”方案应运而生,联想凌拓本地化提速以行践言

89 申耀的科技观察

申耀的科技观察读懂科技,赢取未来!今年以来,“新基建”无疑成为了社会各界关注的焦点。“新基建”在各领域的加速建设,将会极大地推动数据爆发性增长,这既是企业未来发展最重要的驱动力,但同时也给企业在数据管理的方方面面提出了新挑战。在联想凌拓产品管理与营销高级总监林佑声看来:“随着‘新基建’的提速,许多新的应用场景将被逐一打开,但本质上它的底层支撑仍然是数据,因此

你是男孩子嘛,多摔一摔没关系的……哈哈哈哈哈哈哈哈哈
萌宠

你是男孩子嘛,多摔一摔没关系的……哈哈哈哈哈哈哈哈哈

849 搞笑集中营

点击"搞笑集中营"关注我讲真没有对比就没有伤害回首从小到大经历的那些事就是一个大写的扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎扎心☟跟爸爸一起出去玩还没玩就摔成了狗从小就留下了深刻的心理阴影“老爸,不是说好你会接住我的吗?”“啊,光注意看你妹妹,忘记你了。”☟第二次和老爸出去玩轮到我的时候再次摔成狗“老爸,你在做什么?”“你是男孩子嘛,多摔一摔没关

私房话

喜欢和女人一起喝酒

341 平叔闲谭

喜欢和女人一起喝酒作者▏平叔给身边的朋友做个阶级划分,基本就是两类,一类是喝酒的,另一类就是不喝酒的。细数一下,似乎喝酒的要比不喝酒的要多的多,其中还不乏女性酒友。说句发自内心深出的大实话,我其实是很愿意和女人在一起喝酒的。为什么?因为女人喝酒实在,不装。记得九十年代去京城,好像也是个寒冷的季节,朋友带着他新婚的女人一起招待我吃饭,女人是准备要生育的,就说不

让老公帮两个狗狗剃脚毛,妈回家惊见“巨型鸡爪”差点气死:别对老公有期待…
萌宠

让老公帮两个狗狗剃脚毛,妈回家惊见“巨型鸡爪”差点气死:别对老公有期待…

1678 宠物帮萌星球

在照顾毛孩这方面,如果老公不是超细心那种类型的话,还是别把期望寄托在老公身上了,不然迟早要气死!最近,一位铲屎官在网上吐槽自己的老公,让他帮两个毛孩剪指甲,谁料到等她一回家竟然发现自己的狗狗好好的毛绒绒脚丫全部变成了鸡爪!这两只狗狗,白色的那只叫做巧克力,金毛叫做大宝,两只狗狗都是领养回来的但两个狗狗的感情却很好。巧克力是在三年前被领养,当时它才一个多月,因

游戏

在告别 Flash 之际,我在这个软件上玩到了数万款 Flash 小游戏

463 威锋网

点击上方蓝色字体,关注我们Adobe此前宣布将在2020年12月31日之后,停止为Flash提供支持,而那些还在坚持使用的用户也将在2021年12月12日之后受到限制,这意味着曾经风光无限的Flash退出历史舞台的命运已经板上钉钉了。但对于许多互联网老用户来说,Flash的身份不仅仅只是一个播放器,更重要的是由此衍生出的游戏、音乐、动画等作品所承载的记忆,而

私房话

爸,你早就不爱我妈了吧?

1785 青年文摘

点击上方蓝字“青年文摘”右上角“...”点选“设为星标”添加★标不再错过推送每天8点12点20点不见不散~作者:关山月来源:凯叔讲故事ID:kaishujianggushi我一直相信一句话:教育永远是从生活中习得的。最好的教育,是父母相爱;最好的家庭,是不断成长。爸,你早就不爱我妈了吧?如果孩子问你,你怎么回答?当然爱啊,要不然怎么会有你。小孩子懂什么,一边