案例名称

统一数据平台全栈信创化及应用迁移建设项目

案例简介

统一数据平台一体机（即我司数据仓库）是用于长期存储历史数据并支持在线分析处理（OLAP）的系统，包含了企业历史数据的多个版本和大量维度信息，为企业级决策分析和业务报表等提供数据支持。对保险业而言，数据仓库是业、财、再、人力、销售、客户类等数据存储、分析及监管报送的基础。

2023年之前，中国人寿数据仓库算力资源为10个计算节点的美国TD（Teradata）数据一体机。针对算力资源扩容升级需要，结合国家在关键信息化领域国产自立发展要求及公司信创工作整体安排，经过细致的同业调研与应用测试，选定华为高斯高性能数据库建设方案推进公司统一数据平台TD数据一体机全面国产化替换升级与应用迁移与建设项目。

创新技术/模式应用

基于对MPP（Massively Parallel Processor大规模并行处理）数据库及保险数据模型的充分调研与深刻理解，中国人寿财产保险股份有限公司联合北明软件公司、华为技术有限公司搭建了含两个管理节点，两台调度服务器，36个数据节点的GaussDB（DWS）集群，利用DSC（Database Schema Convertor 数据库模型转换）及GDS（Gauss Data Service高斯数据接口）工具，将原有基于TD数据一体机的调度工具、ETL作业及历史数据迁移至该集群，并将原有TD数据一体机承载的各类数据分析应用及进行适配GaussDB（DWS）的改造。在此基础上构建了数据运行状态监控平台及作业调度平台，能够有效对数据库及作业进行管理。

在数据仓库迁移过程中，ETL作业的转换、存量数据迁移及数据一致性验证是三大重点及难点工作。

1、ETL作业转换

ETL作业转换需考虑TD数据一体机及GaussDB（DWS）中的语法差异，同时因数据库特性不同，需修改部分代码逻辑保证执行效率。基于此，综合考虑两数据库之间的SQL语法及数据分布方式差异，本项目开发了基于华为DSC的脚本自动转换工具，大大缩减了人力成本。

2、存量数据迁移

存量数据迁移需考虑数据存储、编码方式的区别，且历史存量数据较大，在导出时需考虑导出脚本性能问题。基于此，本项目开发了基于华为GDS的数据批量迁移工具，可自动识别数据编码格式，同时尽可能减少对数据库资源的占用。

3、数据一致性验证

跨库的数据一致性验证包括存量数据验证及增量数据验证，本项目基于python开发了跨库的数据一致性验证工具，可自动识别TD数据一体机及GaussDB（DWS）中表数据差异（含数据量、数值型数据求和及数据抽样对比），并将差异点进行汇总。

项目效果评估

统一数据平台全栈信创化及应用迁移建设项目为中国人寿财产保险股份有限公司完成了数据库调度平台及算力平台的信创化改造，建立起了国产资源融合统一、多层级并行计算的批量交互式查询一站式数据平台。

一、完成了ETL作业转换、基础数据迁移及数据一致性校验

累计完成了10101个ETL作业的转换，32078张数据表的迁移及对应数据验证。为公司的BAS 业务分析系统、FAS 财务分析系统、RAS 再保分析系统、统一服务查询池等分析类系统及EAST 监管数据报送、城乡居民大病信息报送、保单登记信息管理平台数据报送、银保监会统计信息报送等监管类系统提供了数据支持。

二、开发了配套的作业转换、数据迁移及数据验证工具

在统一数据平台一体机替换与应用迁移建设项目中，ETL作业转换和数据迁移工具分别基于华为提供的DSC及GDS工具，结合项目要求自主进行二次开发，跨库数据一致性验证工具完全独立自主开发。其中作业代码转换有效率高达80%，数据批量自动迁移有效率高达70%，跨库数据一致性验证工具可以在基本不影响数据库性能情况下，验证500张业务表数据一致性。此项目中孵化出的三个工具大大提高了项目进度，也为保险行业数据库迁移提供了宝贵的经验。

三、建立了基于GaussDB（DWS）的调度平台及国产算力平台

随着保险业务条线的发展与数据分析需求的增加，数据仓库中ETL作业数量也逐步增加。之前采用的Automation调度工具存在可视化效果差、查询复杂及无法定制化开发等问题。因此从新的业务需求和规划考量，需要搭建基于国产算力平台（即GaussDB）的ETL调度平台，满足业务人员对相关作业运行情况监控、配置等场景，对ETL作业进行统一的配置和管理。

项目牵头人

刘建恒 高级信息工程师

项目团队成员

陈起、刘建恒、孙国良、张一帆、蔡炎希、韩靖楠、徐沁雨、张莹、孙思婕、刘瑞、陈锟、严江慧、金丽璟、潘思帆、张德坤

责任编辑：陈爱