案例名称

桂林银行大模型中台

案例简介

人工智能大模型技术发展日新月异，大模型能力正逐步渗透至各行各业，催生新一轮创新浪潮和行业变革。桂林银行勇立科创潮头，于2023年第三季度启动了“大语言模型中台”项目，旨在探索人工智能大模型技术在银行业务中的深度应用，以期通过技术革新推动金融服务智慧化转型。经过精心规划与建设，该项目于2024年第二季度成功上线，标志着桂林银行在金融科技领域迈出了坚实的一步。大模型中台不仅整合了先进的AI技术资源，更构建了一套高效、灵活的服务体系，为银行内外部用户提供智能化、个性化的服务体验，成为驱动桂林银行业务升级的新引擎，为数字化和智慧化转型发展新质生产力。

创新技术/模式应用

大模型中台秉承中台化的设计和服务理念，集中统一管理大模型资源，为全行各业务系统提供智能客服、内容创作、代码编写、产品设计、文档编写、智能办公、数据分析和逻辑推理等方面的AI能力。

1. 集成资源管理，优化成本效益

集中统一管理：大模型中台对外集中统一提供服务接口，内部采用分布式架构，统一调配大模型软硬件资源，显著提升了资源利用率，有效控制了高昂的硬件成本，使大模型成为行内新型高端的基础设施。

适配国产生态：系统全面适配国产大模型及GPU硬件，强化了技术自主可控能力，保障了数据安全与合规性，为信息化创新添砖加瓦。

图1 大模型中台 节点列表

2. 接口化接入的业务融合

通过标准化API接口，大模型中台无缝对接行内各业务系统，如云上乡村数智平台、桂银数字人、桂银MO等，实现了业务流程的智能化嵌入，简化了技术对接复杂度，加速了智能服务的部署与迭代。大模型技术发展非常快，甚至每月都有新的模型发布，中台可屏蔽软硬件差异，可在不影响业务系统的情况下对大模型升级迭代或模型更换。

3. 应用化管理灵活配置

大模型中台通过应用配置的形式对外提供服务，实现了灵活的服务配置和管理。这种应用化管理方式使得银行各业务部门能够根据实际需求灵活调用大模型中台的服务，进一步提升了工作效率。

图2 大模型中台 应用列表

4. 智能化数据应用

大模型中台通过集成自然语言处理（NLP）能力，能够自动从多源异构数据中提取关键信息，包括但不限于社交媒体、新闻报道、政策文件等公开非结构化数据，以及银行内部的的结构化数据。这种智能化的数据收集方式不仅拓宽了数据来源，还显著提高了数据收集的实时性和准确性，盘活非结构化数据资产。

5. Langchain技术支持的知识管理

利用Langchain技术，大模型中台不仅实现了高质量的智能问答服务，中台还负责维护和优化知识库与向量库，确保了信息的准确性和时效性，为决策支持、客户服务提供了强大的知识支撑。

图3 大模型中台 知识库列表

项目效果评估

1. 业务效率与质量双提升

自大模型中台上线以来，桂林银行在信息处理、客户服务、产品创新等多维度实现了效率的显著提升，智能办公与数据分析的自动化水平大幅增强，直接带动了业务处理速度与服务质量的双重增长。

2. 成本控制与资源优化

统一的硬件资源管理策略显著降低了大模型运行成本，硬件资源的高利用率使得银行能够以更经济的方式享受大模型带来的技术红利，为长期的数字化转型战略节约了宝贵的资金。

3. 智能化服务覆盖广度与深度增加

从城市到乡村，从企业客户到个人用户，大模型中台的应用场景不断拓展，特别是在农村金融服务领域，大模型中台为云上乡村数智平台提供服务，用户包括行内管理人员和6000多个服务站站长，智能问答服务的普及极大地改善了乡村金融服务的可达性与满意度，展现了科技助力普惠金融的实践成果。

4. 盘活数据资产与应用多样性

知识库问答的方式盘活了非结构化数据资产，用来存储知识库的向量数据库中已经收录各业务条线3000多份文档，构建了10多个不同类型应用以满足业务需求。

5. 促进创新文化与人才培养

项目的成功实施激发了银行内部的创新氛围，促进了跨部门协作，培育了一批大模型“提示词工程师”为大模型应用推广使用奠定了坚实基础。

综上，大模型中台是银行业数字化、智能化转型的有力证明，体现了桂林银行在科技金融、普惠金融、数字金融、信息技术创新和加快发展新质生产力方面的工作成果。

项目牵头人

刘清萌 桂林银行信息技术部总经理

项目团队成员

桂林银行信息技术部：何潜航、覃海滨、黄楚婷、李戈、闭奇川

责任编辑：陈爱