“科技重构金融未来”——中国电子银行联合宣传年2018贵阳高峰论坛于8月2日顺利举行，贵阳市政府、近百家银行相关部门领导、金融科技企业和学术专家共计约150余人参会。论坛由中国金融认证中心（CFCA）、中国电子银行网主办，贵州数安汇公司协办，中国电子银行网全程视频、图文直播。

　　作为论坛压轴发言的嘉宾，前IBM高级科学家，Testin副总裁、数据运营事业部总经理陈冠诚用实实在在的运营案例，阐述了互联网金融行业的智能运营。

　　陈冠诚介绍说，AI没有什么神秘的地方，AI是把可以被重复的有规律的工作用机器人替代人去完成。在手机银行的生产运营过程中，虽然各部门分工有异，但都会有很多需要对比、挑选、决策的关口。这时运用人工统计或是传统的经验主义无法达到科学精准地完成数据采集和数据决策的要求。这时AI和大数据就发挥出显著的优势。

　　通过现场视频演示及宜人贷、爱钱进的实践案例分析陈冠诚充分阐述了Testin在AB测试智能优化方面的“临床”探索。

　　陈冠诚建议，大部分手机银行的APP作为一个产品角度，非常多的功能点都能进行AB测试。只要新版本比原始方案更好，AI引擎就能智能选出更优版本，就可以提升转化率。包括菜单栏的设计，放什么样的理财产品等等，每个功能点从大到小都可以进行优化。

　　以下是陈冠诚演讲实录：

　　很高兴有机会倒数第二跟大家分享一下在互联网金融行业相关智能运营的案例。

　　Testin是2011年成立的一家公司，我们服务了全国大概一半的银行，包括四大行里的三家，包括所有股份制银行，主流的城商行等等都是我们的合作伙伴。可能很多同仁对我们一个认知觉得我们是一个测试公司。但实际上我们已经开始把服务延展到测试之后，即APP发布之后的环节，包括数据，安全，推广等等。

　　我今天跟大家分享的智能运营的场景，在客户案例里想要解决的问题。

　　在座很多专家在之前分享中提到了很多我们在做APP运营过程中面临的很多问题。从职能的角度来讲，我们把不同的团队分成产品部门、运营部门、市场部门，他们工作围绕的核心指标、面临的挑战不太一样。比如产品部门面临的问题是产品到底怎么改，哪个版本等优秀，需要有个量化指标来衡量。运营部门是关心做什么样的运营活动能够吸引更多的转化。市场部门关注的是怎么降低获客的成本，这实际上是最重要的其中一个环节。

　　我给大家分享具体的一些案例。整体看，这个手机银行APP的理财产品左右两个版本唯一的区别是颜色不一样，是偏展示层的版本选优的过程。我们衡量A版本好还是B版本好，会用到访问的总人数、平均的访问时长、按钮的点击次数、购买总金额等等指标。我们真正做试验做所谓AB测试时，我们会基于一些用户标签来做，比如像年龄段做一些定向的筛选、地域，包括产品用户的标签，比如理财等等进行相关的定向选择。最后，我们可能希望在一个业务大屏里面能展示出来AB甚至更多版本的优劣情况。（图）最后，比如在图示里，看到左边红色代表的版本转化率是48.09%，证明这个版本是通过数据决策选出来更优的版本，完成转化率提升的目的。

　　这里牵涉一个概念，刚刚很多嘉宾提到AB测试。什么是AB测试？它是一种产品优化的方法论，是为了一个核心优化目标制定两套或者多套产品方案，让一部分用户使用A版本，同时，一定要同时，因为希望摒弃因为时间差带来的干扰，让另一部分用户使用B版本，通过数据分析统计对比，用数据进行产品选择决策，而不是传统的依赖经验主义去做。这样得出的结果是科学的。

　　刚刚给大家看的例子比较简单，它只有两个版本。给大家看一个我们在互联网金融的合作伙伴，宜人贷的例子。它的获客落地页有17个版本，有20个渠道，问题的复杂度是17×20，目标就是要在20个渠道里选出最优的版本，提升理财获客的转化率。举个简单例子，假设原始版本转化率是2%，如果能提升到3%，整个营销的效果就提升了将近50%。我们怎么帮到它提升目标？很简单，整个流程就是说用户先点击这个广告，渠道有可能是头条或者是百度搜索，能不能帮用户自动选出最优的版本，就是我们这个系统的能力。这个就是基于现在相对比较热门的强化学习、深度学习的技术去做自动化的数据PK。核心的逻辑就是说一开始所有的流量都是均分的，比如（图）左边四个版本，一开始都是默认5%的流量，在下一个时间段里系统会自动判断四个版本跑一段时间后各自的转化率谁高谁低，转化率高的版本AI引擎会奖励你流量，转化率低的版本不会给你更多的流量。随时间变化，你会看见绿色的版本流量会越来越多，到最后所有的流量都变化绿色的版本，整个流量奖励都是通过AI自动完成的。传统的做法可以人工去做，但就需要有一个一位同事去做数据分析。从技术角度来讲，背后有很多研发过程中的故事，很多是需要不停地训练。AI引擎，所谓人工智能就是有多少人工才有多少智能，真正的引擎交付给合作伙伴之前，我们做了大量的训练。

　　我给大家看一个相关的视频。（播放视频）右下角的两张图，不同的版本是红色跟黑色的转化曲线不一样，红色的版本会奖励更多的流量。黑色的版本出现了反转，比红色更高一些，我们的引擎会自动奖励流量给黑色。到最后流量全部奖励完后，会看谁的转化率更高，红色更高，自动就把所有流量奖励给红色版本，整个过程不需要人工进行干预。两个版本的智能优化工作量是相对比较少的。

　　（播放视频）7个版本甚至70个版本，在版本复杂性的情况下再去叠加渠道的多样性，整个过程全部都是AI自动完成的。AI没有什么神秘的地方，AI是把可以被重复的有规律的工作用机器人替代人去完成。这是我给大家分享的例子。

　　刚刚讲的那些其实是所谓的AB测试、智能优化的具体例子。我做了很多年的产品，从产品的角度，我们什么时候需要去做优化，我们需要正儿八经引入AB测试，同一个功能做两个甚至多套版本，去做智能优化，核心点是因为这个功能点符合两个必要条件：一是影响很大，二是选择又很困难。传统来讲，原来受限于技术手段的限制，不得不凭借经验去做决策，随着行业发展，我们开始可以利用人工智能技术帮助你完成决策，可以是AI对整个互联网金融和银行行业的促进。我跟大家分享一下在互联网行业里，AB测试的方法论早就大行其道。我这里有各行业的统计数据，像谷歌这样的互联网顶级公司，一周大概会做2000个功能点的测试。比如说客服的按钮到底是摆在右上角还是左上角，这样功能点的测试就算一个试验。以谷歌为例，一周平均做2000个测试，国内的BAT可能是800个测试左右。（图）右边的互联网金融公司，可能一周平均做30个功能点测试，对多套版本进行选优。最后的收益是什么？一周如果做30个功能点的试验，大概会有30%的概率获得成功。三分之一，其中十个有功能点提升。说明我们的产品运营人员很多时候设想的点子，在70%的概率下是不符合你的预期的，因为你花了开发成本、测试成本去跟原始版本做对比，是因为你觉得你的新版本的设计应该比原始版本好，但是实际数据证明，大概只有三分之一的试验是符合预期确实能带来转化率提升的。转化率提升多少？我分享一个统计数据，平均提升5-30%的量级。比如我们给国航做会员活动的页面，最后转化率提升400%，非常夸张。为什么？因为原始版本受限于开发资源，因为是外包公司做的，其实没有花很多力气做这件事情，但会员活动对他们会员买票是非常重要的场景。我们有自己专业的设计团队做了新的多版本的创意方案，整个转化率提升400%，效果惊人。

　　再分享一个这个行业里面的最佳实践流程，其实这套流程不是Testin发明的。核心点从左往右看，左边有个目标，一定是个小目标，不能上来告诉我希望通过做个AB测试把今年的交易额提升30%，这是没办法落实的。你可以提个要求，希望通过注册流程的改版把转化率提升30%，这是合理的。基于这个目标开始分析数据，比如现在的电子银行注册环节转化率怎么样，我提出相关的设想，比如我应该这么改可能会提升，会有两到三个新的产品设计方案。基于这个方案你会做个重要的优先级排序，基于各种资源的限制，不可能所有版本全做测试，这时候你会基于选择困难同时又重要的功能点选择性的做AB测试。完成测试之后，你会发现在整个结果上分两种：70%是无效的，就是做了无用功吗？我觉得我要分享一个经验，跟我们合作的伙伴来看，他们觉得这对团队能力是巨大的提升。恰恰是通过无效的试验，锻炼了团队的能力。因为所有的运营都是人做出来的，通过实际的经验、实验帮助团队的提升，这可能比APP本身的转化率提升更有价值。另一方面，新版本的实验有效的情况下，大家可以鼓掌，就可以完成整个产品线上化的过程，并正式发布。

　　大部分手机银行的APP作为一个产品角度，非常多的功能点都能进行AB测试，小到用这种物料还是那种物料，你可以设计两套banner，把UI填上去，就可以智能自动选优提升转化率。包括菜单栏，放什么样的理财产品等等，每个功能点从大到小都可以进行优化。

　　分享一个实际案例，原来叫立即存入，新版本叫立即理财，转化率提升了15.45%。大家可以从心理学角度上看见，存入的概念，这个试验是在2017年上半年，那个时候“理财”这个关键词对用户的促进作用是高于“存入”这个词的。我们给信用卡做的应用场景，提升了转化率将近18个点。这是上海一家金融行业，这是一个支付环节，原始理财充值时可能只有银行储蓄卡的一种渠道，我给小部分人开放微信支付之后，整体的限额应该是多少，因为微信手续费比传统的手续费高，但整个的操作步骤会少会更便捷，但是手续费会高。通过这个试验以后，首笔充值限额5000或者1万，最后选出来1万元。最后是注册环节，先看产品设计，（图）左边是非常传统的图片校验码。这个客户的新方案用短信校验码提升了10%的转化率。右边的版本在第一屏只需要填手机号，第二屏也只需要填手机校验码，一般都是四位数字，比去人工识别的图片校验码速度会提升。但是我们知道，很多时候会面临黑客攻击，他们其实在现在的产品里在产品登录的环节保留了图片校验码，这也是产品设计上的一些细节。这是在“新手理财”，我们花了很多货客成本以后，转化了很多新客户，希望新客户完成核心的动作，比如首笔充值完成买一个理财产品。你到底是希望上来就给他三个理财产品，还是像右边只给两个理财产品，虽然品类少了，但是加了很多友好提示，告诉你你如果买了上面的理财产品，每万元收益是多少。我分享一个小故事，当时这个团队内部是有很大争议，支持左边的团队有三个类目，能满足更多用户个性化需求。一个月整存、三个月整存全都有了。右边的版本告诉你每万元收益是多少，整个转化率更高。最后实际上是右边的版本更好，整体交易额提升了8%。

　　我们讲了很多千人千面，在我们的系统里也做过类似的案例。也是基于用户的标签，给男性女性在圣诞节分别推送不同的手机APP主题颜色，我们做过类似的页面。这套系统在银行业一般都是私有化部署，可以给标签打通。

　　产品特点，我不赘述。主要跟大家分享一些我们在行业里面看到的一些相关的经验。AB测试在银行业今年是属于开端元年，今年会有几个合作伙伴会完成正式部署。如果大家感兴趣，我们会后可以进行交流。

　　谢谢大家！

责任编辑：松崎