案例名称

基于金融级分布式数据库的缴费平台建设

案例简介

万里数据库所拥有的大型股份制银行客户，具有综合独特的创新能力和强大的市场竞争力，随着新业务的不断开展，已建设国内最大的缴费平台系统，截止到当前，缴费服务项目总数已突破8000项大关。覆盖6大基础公共便民缴费服务，面向全国省、市、县3级区域进行覆盖。在这种大背景下促使IT架构创新转型，数据分布存储，并向动态负载均衡的分布式架构转型。

万里数据库通过GreatDB助力客户方缴费平台系统的分布式建设，其分布式数据库集群采用两地三中心的部署架构，同城双活部署，异地机房采用集群配套工具进行数据库同步。同时响应客户方监管需求，部署逃离库，通过集群数据同步工具进行异构同步。

转型后目前集群数据量约5TB数据，数据库层并发活跃会话数约为600,业务峰值TPS约为3000，业务交易平均响应时间为60ms。

系统适配及安全

该客户方缴费业务原数据库系统架构运行在小机上的双中心RAC 2+2冷备部署集群，基于存储复制技术确保数据一致性，同时通过Rac自身特性及第三方软件提供服务高可用性。该架构所面临的挑战：

1.运行风险：应用与数据库分离部署，负载均衡模式+Oracle RAC模式。当数据库异常出现，进行跨中心数据灾备切换时，会在较长时间无法提供服务。

2.容量风险：业务量每年激增，高速扩展对数据库容量和负载带来巨大挑战，原架构数据库容量不足。

3.扩展性风险：数据库服务器使用小型机，在现有架构下无法进行横向扩展。

4.成本控制：升级迭代硬件成本过高。

在这种情况下，促使该客户将缴费业务核心数据库从Oracle迁移到自主研发分布式数据库集群。

1.分布式架构与微服务架构相融合

微服务架构也是目前金融行业技术趋势之一，分布式架构与微服务架构相结合，可提供高效的性能和持续的扩容能力。

2.高可靠与容灾

数据库系统要有极高的可靠性与容灾能力。具备同城跨机房容灾部署能力、机房级故障切换能力，确保节点/机房故障场景下RPO=0，RTO<60s。且需同时具备强一致的数据库集群备份恢复能力，确保金融数据的备份级灾备安全。

3.高性能、低延迟、按需在线横向扩展

随着用户规模的逐步扩大，促使缴费平台性能压力持续增加，就要求分布式数据库提供高吞吐性能与低于阀值的响应延迟，并按需横向扩容，以支撑业务高速发展。

4.平滑的切换方案

分布式数据库与业务整体相融合，具备平滑切换与按需回切业务流量的方案，确保新架构方案风险整体可控。

集成创新效果

1.缴费平台整体架构：

基于客户方线上缴费业务需求，采用两地三中心部署架构，同城双机房部署单一双活主集群，并从灾备角度部署异地灾备集群与本地逃离库集群，数据同步通过集群数据库同步工具进行。数据库运维监控管理平台接管集群全组件的全生命周期运维管理。

2.系统功能及系统分层架构

客户端：用户可通过多种线上缴费渠道。

业务层：线上缴费数据包括水、电、燃、宽带、物业费、学费等，覆盖百姓生活的方方面面。

数据库：线上缴费业务数据存储在数据库层的GreatDB中。

基础设施：GreatDB数据库支持物理机、云平台、容灾等基础设施部署。

3.高可靠与灾备方案

缴费分布式数据库集群的高可靠与灾备整体方案涉及三方面：同城双活、灾备方案设计、数据库备份恢复设计。

1）同城双活集群高可靠

缴费同城双活大集群采用全组件冗余部署架构来实现机房级高可靠。

运维管理平台Great-Control，采用主备式部署方式，在同城双机房部署。

调度节点(SQL-node)，为多活部署。

配置节点层，完成集群机房级切换。

数据节点层，集群故障切换RPO=0，且依然可以正常对外提供服务。

数据存储采用本地存储。

集群其他组件，包括集群备份工具、数据同步工具GreatSync都采用同城双机房主备部署。

2）逃离库与异地灾备数据库集群

缴费业务使用自主研发数据库主备集群作为逃离库环境。逃离库将存储全量集群数据，并通过GreatSync将分布式数据库集群变更信息异步同步到逃离库集群。

3）数据库集群备份恢复

缴费数据库集群在同城双机房各部署一套集群备份工具。集群备份工具在业务低峰时进行集群物理备份。

4.库表分布方案

主要数据表分布规则如下：

分片表部署：对订单、流水和监控类大数据量表进行sharding拆分，减小单分片压力。

全局表部署：对元数据表，如商户信息、缴费项目等，采用全局表存储。

非分片表部署：非分片非全局表，部署在norm数据源，简化部署与应用适配的复杂度。

5.业务改造与迁移方案

1）业务迁移过程的三个阶段：

业务双写：通过缴费业务程序双写，实现oracle集群上的缴费负载1：1应用到分布式数据库集群，验证集群的稳定性、性能、与可靠性。

缴费项目逐步迁移：缴费项目共8400+，项目之间在业务上相对独立，将缴费项目逐步切换到分布式数据库集群中。

原oralce集群下线：所有缴费项目迁移完成后，下线原oracle数据库集群。

2）Oracle语法改造

3）应用流水号迁移

4）缴费日终批量迁移

5）缴费数据库流量切换设计

6.集群扩容与部署调整方案

分布式数据库集群支持在线scale-up和scale-out，来应对缴费业务集群日常运维中所需的集群扩容与各类部署调整需求。

1）缴费集群数据库机器数据节点存在一定程度的节点复用。

2）横向扩容集群，扩容过程通过运维管理平台进行，数据自动在线单调重分布，对业务影响控制在20%以内。

项目牵头人

高孝鑫  售前总经理

责任编辑：韩希宇