文/葛仁余 江苏银行党委委员

副行长，首席信息官

载于《信息技术与标准化》杂志2019年第5期

推广普惠金融面临的难题

在实施过程中，主要经历了以下几个技术难题：

（1）受限于高性能存储的成本和数据并行化处理能力，占总存储量80%以上的数据在系统里并未得到利用。

（2）陆续引入的工商、统计、海关、法院等外部数据快速增长，需要大容量低成本的存储技术来支撑，同时为满足业务要求，还要求能够实现大规模数据处理和实时响应。

（3）数据要经过分析处理产生商业价值才能形成数据资产，传统的BI技术在面对大规模数据处理时显得力不从心，一般仅限于形成报表对现象进行描述，而对于现象进行分析并辅助决策或形成业务规则还需要人来完成，这是相当低效的。

具体到普惠金融业务，就需要对行内和外部各类多源异构数据进行采集并整合存储，在深度挖掘海量数据价值的基础上建立风控模型和规则，并能够实时响应业务端的风控请求。

大数据平台及大数据风控体系建设

一、大数据平台建设

1.数据采集

以数据时效性来划分，数据采集可分为实时数据采集与批量数据采集。对于行内的交易数据等实时流数据，前端使用F5日志采集、日志易、数据探针埋点等方式采集实时交易报文，再由分布式海量日志采集聚集传输系统Flume集群，分类聚合后，按主题转发分布式消息订阅发布系统Kafka集群，然后落库存储或对下游系统提供实时响应。外部数据则通过接口调用后直接落库。对于行内存量数据，则通过Sqoop工具从行内关系型数据库中抽取。

2.数据存储

在数据存储层面，既要支持实时请求又要满足大规模批量运算的要求。实时数据一般有高并发、实时响应、数据粒度小等特点，针对性的采用列式存储、全文搜索引擎等存储框架进行存储，以响应下游系统的实时请求；同时还可以向外提供全文检索功能。日终批量数据与历史存量数据数据量庞大，且一般只写入后不再进行修改，采用分布式文件系统进行存储，同时对数据按适当的格式进行压缩，在满足批量运算的要求下，节约了存储成本。

3.数据加工

对于实时流数据，从Kafka获取后根据业务需求运用Spark计算框架进行实时处理，日终批量及历史数据分析等批处理服务则主要用于使用Mapreduce/Spark混合的计算框架进行运算。通过对离线数据与实时数据的分路处理，分别满足了业务实时性、批量数据准确性等方面的要求。

从数据的业务属性出发，行内基于大数据平台构建了内外部数据集市，由数据集市统一供数，运用大数据平台强大的处理能力，极大减轻了业务系统的压力，同时也有助于内部数据的标准化管理。不同种类、不同范围、不同更新频次的外部数据为大数据的应用奠定了丰富的数据基础，但同时也增加了数据管理的复杂度。通过建立外部数据平台，对外部数据进行统一入库、统一管理，使得外部数据的运用更加可控，同时与内部数据进行有机的整合。

4.数据服务

数据服务根据数据运用的程度可分为三个层次：

（1）基本的数据检索查询与数据下发服务。主要是将数据集市业已加工完成的数据提供给业务系统使用。

（2）数据挖掘及机器学习建模服务。基于现有大数据平台，针对海量数据进行加工整合，运用统计计算法、分类算法、聚类算法、回归分析、神经网络机器学习算法等建立数学模型。

（3）模型实时运算引擎。以Hadoop为基础，建立分布式机器学习平台，打造“智多星实时运算引擎”对外提供服务。

基于以大数据平台技术以及数据采集、数据存储、数据加工、数据服务等一系列数据治理工作，构建了开放共享式的大数据平台，可以替代传统的数据仓库，支持海量数据的存储和高速运算，在内外部数据整合、历史数据查询、数据存储计算等方面颇具优势。

二、大数据风控体系建设

普惠金融场景中的小微企业客户，因缺乏可信的财务报表，征信数据也比较稀疏，很难判断其经营情况及真实风险，而个人客户则更是无从判断其信用状况。大数据平台采集整合了内外部各类风险数据，极大地丰富了数据维度，为大数据风控提供了坚实的基础。但只有数据并不能形成大数据风控能力。只有依托场景深入挖掘数据中潜在的风险属性，并建立完整的数据运营能力，才能形成立体的大数据风控体系。

通过建立覆盖信贷业务全生命周期的大数据风控体系，对数据的全面性（数据广度）、数据的相关性（数据深度）、数据的时效性（数据鲜活度）进行整合分析，客观的对客户进行信用评估，从而判定能否对客户进行授信。大数据风控体系可以提供信息核验、风险名单验证、欺诈识别、信用评分、资信报告、预警检测、风险评估等风控服务。它覆盖了贷前、贷中、贷后等各环节的风控需求。目前已实现“全自动”、“全天候”、“全信用”、“全覆盖”的“四全”风控，可以提供秒批秒贷风控能力，极大的改善了客户体验。

践行成果

通过大数据平台几期风控体系建设，成功推出了以下以下产品，方便业务办理，实现效率的提升。

（1）“电e融”。为经营规范、用电正常的企业打造一款无须抵押担保的全线上信用贷款。借助互联网渠道，客户凭使用电量、交纳电费历史记录即可申请办理，并在线获得贷款额度，实现了“线上申请授权、网上数据推送、业务自动审批、在线自主用款”的“全线上”办理。

（2）“税e融”。为正常缴税的小微客户打造的一款“以无担保纯信用为主，可采取各种方式组合为一体”的信贷产品。借助互联网渠道，小微客户仅凭缴税记录即可申请办理，并在线获得贷款额度，实现“在线申请、网上用款、随借随还”。

（3）“享e融”。面向社会大众推出的免抵押免担保的个人消费贷款产品，借助大数据信用评级应用，全线上办理、全自动审批、全数据化管理。客户登录江苏银行手机银行提交贷款申请，只需简单录入信息，后台自动调用多个系统平台运作，审批、授信瞬时完成，贷款资金实时到账，并提供7种贷款期限、2种还款方式供客户选择，客户体验极佳。

此外，基于个人客户缴税记录进行授信的个人版“税e融”、基于个人客户公积金缴存记录进行授信的“金e融”以及全线上全自动的物联网动产质押融资产品“工e融”等产品。“e融”系列网贷产品全面覆盖到小微企业及个人客户，从而使普惠金融的发展走在了全国前列。

通过大数据平台与大数据风控体系建设，推动了普惠金融的落地实践。截至2019年2月，仅“税e融”就向超2.4万户小微企业累放贷款超340亿元。在努力践行普惠金融服务经济发展的同时，银行自身也获得了巨大的发展，同时也为行业发展做出了积极有益的探索。

责任编辑：韩希宇