近年来,企业数字化变革的深入和智能制造、智慧城市、元宇宙等新兴产业的兴起,对云计算提出了更高的需求,传统云计算难以满足新兴场景的算力需求,整合资源、统一调度、一致服务的分布式云计算正在被越来越多的企业所接受,分布式云计算头部企业已在实践领域取得建树,为中国分布式云计算发展积累了宝贵的前期经验。
一直以来,全球分布式云大会作为中国的倡导者,致力于为中国分布式云计算的发展提供最优秀的技术和商业交流平台。本次全球分布式云大会,全球分布式云联盟携手阿里云、腾讯云、火山引擎、PPIO边缘云、亚马逊云科技等分布式云计算头部企业,展示分布式云计算阶段性发展成果,进一步普及和推广分布式云计算的商业应用!
在8月26日下午举办的【分布式主题报告会】上,腾讯云数据库产品专家&腾讯云数据库TDSQL PG版产品负责人 黄琳发表了题为《国产当自强——TDSQL助力政企数据库管理安全可控》的精彩演讲,详细内容如下:
2022年3月,受俄乌关系影响,Oracle宣布停止在俄罗斯联邦的所有业务,数据库作为计算产业的根基,断供带来的影响不言自明。由于开发数技术难度非常之高,因此数据库也被誉为“基础软件皇冠上的明珠”,数据库行业对于计算产业、企业、政府的数据存储、管理以及确保数据安全可控有着至关重要的意义。
中国的数据库发展始于七八十年代,没有产品,只有理论,学习的是萨师煊等老师的理论课程。
九十年代,随着信息化建设提上日程,底层要求数据库软件的支撑,Oracle、DB2、Infomix等国外数据库企业进入中国市场。当时,整个国家从政府到企业数据库,都是国外数据库占据了主导地位。
2000年后,第一批国产数据库出炉,大家熟知老牌四大“金仓、达梦、南大、神通”就诞生于这一时期;同一阶段,互联网企业开始全面拥抱MySQL。
近十年间,国产数据库的发展突飞猛进,在政策利好的环境下,出现了百家争鸣百花齐放的现象。而腾讯、华为、阿里加入数据库的建设,大大加强了国产数据库的实力。特别是我国的分布式数据库技术,在我国特有的海量数据高并发的环境下,技术不弱于国外厂家。
当下,政企数字化转型对数据库的挑战,不仅要求关键技术要安全可控国产化,对数据库高并发、海量数据处理、混合负载处理、整体运维、可扩展能力的需求也在不断提高。
腾讯云TDSQL产品早期服务于腾讯内部各种业务,包括充值、支付、音乐、广告、地图、游戏等;2015年前后随着腾讯云整体对外输出,现在服务于各行各业。
2020年,腾讯云正式进入了世界顶级数据库厂商行列。据统计,TDSQL至今已经服务1000多家政府客户,2000多家金融客户,覆盖了政府、银行、保险、资管、运营商、能源、交通、互联网金融、教育等等行业。TDSQL架构灵活,同时支持集中式和分布式部署架构,支持云上服务及云下独立输出形态,支持SQL2013标准,高度兼容MySQL、PostgreSQL、Oracle语法,具备高性能、高扩展、高安全能力,具备完整的分布式事务处理能力,同时提供智能 DBA、自动化运营、监控告警等配套设施,提供完善的配套迁移工具,帮助客户构建完整的数据库解决方案。
TDSQL支撑第七次人口普查海量HTAP业务处理
我国仍有很多政务企业还在使用集中式数据库,当前单机数据库还能满足部分政企的需求,但随着海量数据管理需求的爆发,集中式数据库将日益捉襟见肘。
以2020年全国第七次人口普查为例,全国十多亿人口数据,要在15天内完成数据的高速入库汇聚,同时还需要支持海量数据的分析,无论是数据量还是并发度,靠传统集中式数据库无法解决这一难题。腾讯云TDSQL数据库在2020年底完整支撑了第七次人口普查海量数据高速入库和海量数据的多维统计分析。
近些年来,腾讯云TDSQL支撑了全国几十个省的抗疫小程序健康码查询、国税发票云平台建设,以及全国医保总局、人社养老等项目,很多都是全国性汇聚的数据,需要分布式数据库的技术来解决高并发大数据量场景。
TDSQL助力国信证券数据库替换
在金融领域,TDSQL在银行行业的案例非常多,支撑了中行、农行以及张家港农商银行、平安银行等。而在银行之外,TDSQL近年来为保险、证券行业做了大量Oracle替换。
国信证券在最初数据库选型时,他非常关注Oracle数据库的替换成本,迁移平滑度。腾讯TDSQL PG版引擎,在具备Oracle兼容能力的同时,兼具HTAP混合场景处理能力,能够帮助客户平滑地将Oracle数据库迁移到到腾讯TDSQL数据库。
客户的反洗钱业务性能测试数据显示,Oracle在三个场景性能是10分钟、101分钟和65分钟,使用腾讯TDSQL配对数据库后,用三分片架构支撑业务负载,分布式数据库MPP多路并行技术能力让业务性能得到大幅的提升。
在采用TDSQL数据库后,客户在高可用能力上也有非常大的提升。最早Oracle单机是用一个Dataguard一主一备支持,主备倒换、切换很复杂,需要修改IP的指向,高可用能力只有分钟级。使用TDSQL PG版后,底层的高可用数据倒换,业务几乎无感知,实现秒级切换,业务入口也不需要修定。
在扩展能力上提升更是巨大,集中式数据库如果遇到高并发或数据量膨胀,只能通过纵向的扩容扩盘,硬件成本非常高且不灵活。采用TDSQL分布式数据库后,计算资源可以从CN上进行弹性扩容,存储资源可以扩容数据分片DN节点,实现了极佳的水平扩容能力。
在证券行业,腾讯云TDSQL拥有非常多的案例,包括易方达基金、国信证券、银河证券等客户。证券行业属于数据密集型行业,对数据的运算不是简单的增删改TP的业务,往往会伴随着复杂的分析和海量数据的处理。传统模式下是大量依赖于Oracle,但是面临现在海量数据的吞吐,Oracle很难满足。加之无法实现自主可控,证券行业越来越多的业务正进行着Oracle数据库的替换。
腾讯TDSQL PG版数据库最大的优势,同时具备HTAP+分布式+Oracle兼容的能力,可以帮助客户平滑地将Oracle数据库迁移到腾讯云数据库上,而且应用改造的代价非常低。目前,腾讯云TDSQL PG版在运营商、保险等行业兼容度高达98%,在证券行业兼容度高达95%以上。通过分布式数据库帮助客户进行架构升级,从最早的集中式升级到分布式,支持同一管控的同时提供集中式和分布式部署架构方案,让客户根据实际业务灵活选择。
在保险行业,太平洋保险在前两年的国产数据库选型中,调研了非常多的厂家,腾讯云TDSQL也与太平洋保险进行了多轮的交流和poc测试。客户选型最关注的是全集团1000多套Oracle业务,需要平滑地完成替换,以及如何低成本地替换(包括硬件成本、软件成本、人力培养成本等),同时要求数据库要具备多场景支持能力,TP、AP混合场景,以及管控平台统一纳管。另外,客户对于数据库产品的生态开放性也非常看中,不希望又被另一个产品所绑定。
经过前后两三年的慎重考量,太平洋保险最终选择了腾讯云TDSQL数据库。TDSQL支撑客户集团全面去O的产品就是TDSQL PG版引擎,这款引擎具备非常高的Oracle兼容能力。TDSQL在去年8月份正式收到客户中标通知后,在短短5个月期间,完成了对全集团1000多套数据库的评估,兼容度平均高达98%以上;完成了10多个业务系统的迁移。据悉今年还将有50多个业务系统计划上线。
这次迁移将帮助太平洋保险逐步摆脱了长年对Oracle的依赖,整体软件的费用也大幅下降,TDSQL PG版高可用的多中心的部署、配套全链路的迁移工具以及可视化工具都不额外收费。
TDSQL PG版产品的设计理念,不希望去依赖太重的硬件存储,希望给客户更灵活的硬件选择,所以支持存储利旧,不绑定高端的硬件,这也是客户选型的一个关键考量点。
另外,虽然主打分布式数据库,但同时也支持集中式的分布式场景。由于部分场景没有必要进行分布式改造,数据量不高,并发度也不高,因此集中式依然可以很好地支撑业务。腾讯云数据库希望能帮助客户以高性价比完成替换,一套管控平台支持不同的架构产品、不同的架构形态,让客户根据不同业务进行选择。
TDSQL PG版基于开源PG打造的分布式数据库,PG是世界最先进的开源数据库,因此生态优势明显。随着PG在国内逐步欣欣向荣,相关的开发人才、运维人才也会比较稳定,可成长性高。
TDSQL PG版简介
TDSQL PostgreSQL 版(TDSQL for PostgreSQL, 原 TBase)是腾讯自主研发的数据库引擎,是TDSQL的PG引擎,同时具备集中式和分布式架构,具备高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力。具备高度的Oracle语法兼容能力,部分行业高达98%以上,平均高达90%,配套有成熟的迁移工具和方案,能帮助客户平滑地迁移Oracle数据库,降低应用改造成本。
TDSQL PG版对PostgreSQL的主要增强
TDSQL PG版,分布式架构底层基于开源PG,腾讯云数据库十来年,在SQL引擎以及存储的管理、高可用、分布式架构等多个方面,针对单机的开源PG做了大量的增强;Oracle语法的兼容性,更是产品持续打造的核心竞争力。此外,腾讯一直秉持理念,希望给客户更便捷的运维管控,便捷管控也是腾讯数据库全套自研。分布式的事务处理,也是国内比较早解决分布式架构下事务一致性问题的,拥有相关的专利技术。
一款好的产品,帮客户做到平滑的迁移,需要配套的迁移工具,腾讯自研的工具,同时具备评估、迁移以及校验能力,可以帮助客户很好地评估Oracle、MySQL迁移到TDSQL PG版数据库的代价,体现兼容度情况;包括实施真正的数据迁移以及迁移后的数据校验。腾讯多年来打造了支撑数据库迁移的完善解决方案,从最初调研到整个迁移过程,配合客户做各种方案的演进,迁移后万一出现异常回退的方案也是完善的。
演讲最后,黄琳表示,做好国产数据库,帮助客户做到政企数据的安全可控,除了产品、配套工具和专业的服务团队,还需要秉持开放生态的理念,希望客户不会被另一厂家再绑定,拥抱开放生态,借力生态的力量。同时感谢一群愿意做好国产数据库、有国产情怀的一群同事的不断努力,腾讯云数据库将致力于把国产数据库做得更好!