数据库是金融信息化最重要的应用系统之一,其可用性和扩展性一直是金融行业最为关注的问题。
如今,随着金融数字化转型的深入,金融机构系统规模及复杂程度呈指数级增长,传统模式下靠采购高端设备以及增加硬件来保证数据库可用性和扩展性的方案正面临越来越大的压力。另一个维度下,数据库的自主可控对于金融行业的数据安全、业务稳定具有重要意义,只有实现“自主可控”才能从根本上保证信息安全。
互联网行业在自身业务场景的长期探索与实践过程中,逐渐发展出分布式数据库的技术实现,并被广泛地被应用在各种高并发、大数据量、要求强一致性且需要强大横向扩展能力的业务场景中,这也为大流量、多模式、强安全的金融新业态应用探索出技术保障路线,积累了宝贵的应用实践经验。
胡利明认为,金融业务场景互联网化、高并发、小额高频交易场景越来越多,传统数据库无法适应业务发展需求,自主可控分布式数据库可以很好的满足这类场景。“金融行业发展并应用自主可控的分布式数据库技术,既是新阶段金融业务发展的必然趋势,也是强化金融数字化技术自主可控的必然选择。”
Q在您的理解中,新形势下金融行业对数据库技术的诉求是什么?
Q在您的理解中,新形势下金融行业对数据库技术的诉求是什么?
胡利明:近年来,随着中国经济快速发展以及普惠金融政策的推广,金融行业在业务形态、客户群体、销售渠道上都发生了很大的变化。对公业务下滑而零售业务高速发展,物理网点萎缩对应的移动化渠道在不断发展,客户群体也在从高端群体向长尾客群变迁。多维、高频、线上场景成为金融业务的主流模式。
数据库是承载金融业务运行的底层基础设施。过去金融行业普遍采用高端的设备,比如使用小型机和大型存储来保证数据库的可用性或者通过增加CPU、内存、磁盘等方式提高处理能力。
但在新形势下,这种方式正受到越来越大的挑战。譬如说,急剧增长的数据量与传统数据库有限容量之间的矛盾;海量用户带来的高并发系统压力与传统数据库性能无法水平扩展的矛盾;实时交易响应与快速数据分析统一管理需求与传统数据库无法兼顾OLTP&OLAP的矛盾;以及越来越高标准业务连续性要求与昂贵的传统数据库容灾技术的矛盾。当然,还有国产自主可控要求与传统数据库方案基本为国外产品的矛盾。
因此,金融行业发展并应用自主可控的分布式数据库技术,既是新阶段金融业务发展的必然趋势,也是强化金融数字化技术自主可控的必然选择。
Q 您刚才提到的分布式数据库技术,能否请您详细做一下介绍?
胡利明:分布式数据库系统是数据库技术和网络技术相互渗透、有机结合的成果,在数据库领域已形成一个分支。经过多年发展,其体系架构已经逐渐成熟。
分布式数据库系统必须满足两个特征。一是分布性:数据存储在多个独立的数据库服务器中,目前硬件一般采用低成本的X86架构服务器。二是逻辑整体性:分布式数据库系统中的数据是相互关联的,逻辑上是一个统一的整体,对上层应用来说,可视为一个集中式的数据库系统。
分布式数据库技术发展至今,技术种类可以用shared-Nothing和shared-Disk两种类型概括。其中,Shared-Nothing方案发展最久,也最为成熟。它具备成本低,数据库性能和容量扩展方便,理论上全局故障概率极低等优势。微信支付就是用的这种方案。
Shared-Disk方案则是基于分布式云存储和云服务器虚拟化衍生出来的一种方案,虽然出现时间不长,但其SQL能力好,几乎100%兼容MySQL、PostgreSQL等数据库,相对成本低,也可复用云上的IaaS资源。当然,Shared-Disk方案的劣势在于其软件架构仍然采用传统集中式方案,导致其写性能扩展性的不足。
Q 腾讯在分布式数据库技术应用上有哪些探索?
胡利明:多年以来,腾讯一直致力于实现数据库的自主可控。为了满足基于微信支付/红包等金融业务场景需要,腾讯历经10余年的自主研发打造了腾讯分布式数据库产品TDSQL(TencentDistributed SQL),这是一款兼容MySQL的HTAP分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,能够同时提供智能DBA、自动化运营、监控告警等配套设施。
腾讯云TDSQL采用分布式集群架构,这种集群架构具有较高的灵活性,也大大简化了各个节点之间的通信机制及其对于硬件的需求。这不仅意味着TDSQL的关系型实例、分布式实例、分析性实例可以混合部署在同一集群中,也意味着即使是基于简单的x86服务器,也可以搭建出类似于小型机、共享存储等一样稳定可靠的数据库。基于这种灵活的架构,我们可以轻松实现两地三中心、两地四中心、多地多中心等高可用方案。
目前,腾讯公司的计费业务系统使用TDSQL托管账户近280亿,日流水量超过150亿条,每天处理的交易量超过100亿笔。
在数据中心联盟(DCA)第七批大数据产品评测结果评审会上,腾讯云TDSQL在分布式数据库的50项产品能力评测中,以47项通过的优异成绩通过评测。IT垂直门户媒体IT168主办的2018年度的技术卓越奖评选中,TDSQL也荣获技术卓越奖。这代表着腾讯云TDSQL在产品和技术实力层面得到了各界认可。
Q 能否举例介绍一下TDSQL目前的应用案例?
胡利明:微众银行是腾讯云TDSQL对外输出的第一个客户。作为国内首家互联网银行,微众银行的IT基础架构抛弃了传统的IOE,完全采用了互联网分布式架构。从2014年开始,腾讯云开始为微众银行提供核心交易数据库解决方案。腾讯云TDSQL在微众银行作为交易核心数据库,部署超过800个节点,承载全行所有OLTP业务。
由于完全采用互联网架构,相比传统的IOE方案,微众银行在IT成本上大幅节约。同时,互联网架构的高伸缩性,使得微众银行的服务能力具备很高的弹性,足以轻松应对普惠金融场景下的潮涌。目前,微众银行每个账户的运营成本平均只有6元人民币,仅为内地传统银行的1/10,相比国际银行则更低,只有其成本的2%至5%。
除了微众银行,腾讯云TDSQL还支撑着华通银行、华夏银行、潍坊银行、内蒙金谷农商银行、北京人寿、爱心人寿等众多银行和保险公司的互联网核心生产系统,已经为超过500+的政企和金融机构提供数据库的公有云及私有云服务,客户覆盖银行、保险、证券、互联网金融、计费、第三方支付、物联网、政务等领域,得到了客户及行业的一致认可。
未来,腾讯云TDSQL 将持续通过产研结合、产用结合的方式进行研发突破,并开放商用更多特性,助力金融机构加速数字化转型步伐。