来源：中国金融杂志

《中国金融》|推进数据架构转型及智能化应用

作者：杨龙如 系中国工商银行软件开发中心总经理

文章：《中国金融》2020年第9期

经过多年信息化建设，商业银行普遍积累了较大规模的数据，其内容也日趋丰富。随着大数据、人工智能等技术快速发展，数据资产价值凸显。开展数据治理、挖掘数据价值、推动智能化应用，成为商业银行推动经营管理变革，实现数字化转型的重要手段。

工商银行主动顺应金融科技发展，启动以智慧、开放、生态为特征的智慧银行信息系统（ECOS）建设工程，根据自身转型发展要求，以数据驱动服务业务创新，不断开发数据资产价值，在数据架构、数据治理、数据应用等方面进行了积极实践探索。一是坚持以数据架构规划为基础，持续优化提升数据资产运用所需的算力、算法，完善数据资产的布局和管理；二是以数据治理为抓手，针对数据标准、数据质量、数据安全等开展数据资产的全面运营管控；三是以业务热点、痛点为驱动，开展企业级数据智能化应用。通过数据架构、数据治理、数据应用的相互促进，在赋能业务智能化方面取得一定的成效，有力推动了“数字工行”建设。

推进数据架构转型

工商银行数据应用体系自2002年开始建设，经历了数据集市、数据仓库、大数据平台多次迭代和发展，实现了从以数据统计分析为主的“数据辅助决策”向以人工智能支撑的“数据驱动决策”的演进。形成了包含数据模型、数据布局、数据交换、数据服务、数据管控的完整数据架构体系。在ECOS工程总体要求的指导下，2016年启动了大数据服务云体系的建设，大幅丰富算法升级算力，整合机器学习知识图谱技术，提升智能化基础支撑。重组数据湖、数据仓库、集团信息库的“一湖两库”体系，优化完善企业级数据布局。建设共享复用的标准化数据服务体系及数据展现工具，促进全行用户参与数据价值的深入挖掘和灵活运用。通过努力，我们基本建立了集技术、数据、服务于一体的大数据服务云生态体系。

实现大数据平台开放化、国产化转型，满足多样算力需求。2014年下半年，我们与主流供应商联创合作，开启了大数据平台转型。目标是用低成本、易扩展的通用设备集群，满足高时效处理复杂结构化大数据的需要，同时能兼容关系型数据库各项特点，与Hadoop体系形成合力。产品和方案经过一年多的不断迭代完善，2016年开始，历经三年多时间，完成Teradata、Exadata平台上所有应用的3000多万行代码和超2PB数据的迁移工作，建立起了远超以往规模的国产分析型数据库集群。2019年第二季度，Exadata、Teradata平台正式下线，标志工商银行OLAP架构转型完成，成为首家转型国产开放分布式架构的金融机构。目前，工商银行大数据服务云规模已超过4000台服务器、500块GPU，单集群规模超过1000台，具备海量数据并行处理、资源弹性可扩展等能力。转型后，查询分析性能提升3倍，批量分析性能提升40%，容量承载能力提升10倍，达到EB级存储能力。在相同性能和存储能力的情况下，现有大数据平台软硬件投入仅为原有产品投入的30%。

研发机器学习平台，提供全流程建模服务。自2017年始，我们立足自主可控，通过引入开源资源、联合业界主流服务商、购买成熟技术产品等多路径建设人工智能机器学习平台。目前已实现国内外十余种业界主流人工智能学习框架的可插拔融合，集成机器学习、深度学习、计算机视觉、自然语言理解等领域的百余种AI算法，实现了业界主流算法的覆盖；同时面向数据科学家研发了AI工作站，提供从数据处理、模型训练到模型运营的全流程建模服务。

完善数据布局，提升数据存储使用效能。源数据方面，推动各产品应用遵循业务架构建模成果，开展分层解耦，优化主辅数据源分布。贴源数据方面，建设了覆盖全集团的贴源数据湖，基于应用场景，确定不同贴源数据纳管方式，目前已通过数据复制、批量文件等多种方式纳入了100多个应用的2.6万张数据表及多种外部数据，总数据量达到PB级。衍生数据方面，通过数据仓库、集团信息库实现主题数据、知识数据建设，与数据湖互补，实现全业务、全集团、全类型、全来源的基础数据融合，沉淀可全行共享的客户特征、统计指标，形成企业级共享数据资产，同时支持各专业领域共享数据资产建设。

建设标准化数据服务，适应智能应用的多样化需求。在继承传统BI数据服务的基础上，实现传统大数据OLAP服务向大数据OLAP+OLTP服务融合的转变，构建可共享复用的客户画像、风险评价、智能推荐等标准化数据服务，前瞻性地满足热点领域快速创新需要。目前已形成多个可共享的公共智能数据服务，赋能1000余个业务场景，实现跨产品、跨业务领域的共享使用，更好、更快地满足全行智能化转型需要。

提供灵活展现支撑，支持业务自助创新应用。随着业务分析统计需求的日益旺盛多样，传统报表展现模式已无法满足要求，工商银行依托大数据服务云，推动报表研发及数据展现向数样分离、数据可视化分析的方向发展。借助自主研发的自助式BI工作站，面向业务人员提供向导查询、模板查询、图表定制等灵活分析功能，建立指标定制、灵活查询等数样分离的分析挖掘新模式，各层级业务人员可基于基础数据和指标数据灵活定制图表展现，大幅提升业务人员的灵活自助分析能力。

强化数据资产治理

随着对数据价值认识的深化，各专业分析挖掘需求也呈现爆发式增长，大数据应用的广度和深度大大拓展，为数据标准、数据质量、数据安全等方面管理带来挑战。工商银行依托大数据服务云建设，重构数据治理与管控体系。制定了数据治理的管理制度和技术规范，建立涵盖事前预防、事中监测、事后评估改进的全生命周期数据治理流程，设置了与数据治理相匹配的包括总行分行、科技与业务参加的组织架构，合力做好数据治理工作。实现了企业级数据资产的全生命周期运营管理，确保数据的一致性、准确性，有效防范了数据、模型等新型风险，较好支持了数据驱动下的应用创新。

建立数据标准体系，推动全行数据标准化。一是制定企业级数据标准，为数据标准化夯实基础。参考国家标准和行业标准，坚持“定义统一、口径统一、名称统一、来源统一、参照统一”的原则，建立了统一的企业级数据标准。早在2010年，工商银行就建设了国内金融行业首个全行级信息标准管理服务平台，实现数据标准全生命周期管理，为建标、贯标提供系统支撑。自实施数据标准化以来，共发布基础标准约2000项，覆盖当事人、产品、协议、账户、介质、地理位置、资源项、事件、渠道和通用十大标准主题。二是推动数据标准贯彻应用，实现业务和科技联动的全流程贯标。在业务需求阶段，运用业务架构建模方法，基于实体模型实现源头贯标，从业务层面推进数据标准化建设。在IT设计实现阶段，承接业务架构的实体模型设计成果，通过和元数据管理系统联动，实现数据字段关联标准与合标校验，确保数据标准的贯彻应用。对于存量数据，结合IT架构转型、应用重构等重大项目同步开展存量系统贯标改造。目前已完成主要业务系统的贯标工作，确保了全行关键业务数据符合标准。

建立数据质量管理体系，强化数据质量闭环管理。一是建立分工明确的三层数据质量治理机制。上游源系统在系统设计过程中落实数据质量检查以确保增量数据质量，并对发现的数据质量问题进行源头治理。基于全入湖数据，依托大数据服务云实现贴源数据质量检查规则的全面部署和检查。下游数据使用系统负责响应监管及业务的要求，并开展加工后的数据质量规则部署和检查。二是建设全流程闭环管理的数据质量管理系统。依托系统实现数据质量检查规则统一管理，支持用户自助或系统固化等方式部署检查规则，依托大数据服务云实现数据质量全面检查，形成“制定规则、规则检查、发现问题、问题分析治理、后评估”的全流程闭环管理。现已部署检查规则15077条，覆盖了上游各业务系统，检查范围包含数据完整性、准确性、业务有效性、关联一致性、唯一性等各个维度，实现对数据质量治理的全面支撑。三是为国家或行业大数据体系建设提供数据支持。工商银行积极配合政府机关、监管机构等开展金融数据治理，重点推进金审平台报送、EAST监管报送、反洗钱报送等专项治理工作，大力支持国家或行业大数据体系建设。成立监管报送治理团队、建设数据监测分析平台、建立问题清单化跟踪机制等措施全力做好监管报送数据治理，并取得较好成效。在银行同业中首家完成审计历史数据报送；建设了EAST监管报送数据监测分析平台，做好数据质控，目前数据报送质量已在银行同业中排名前列；做好反洗钱数据治理，反洗钱报送数据的补录量由2万笔下降到4800笔，数据质量大幅提升。

构建企业级安全体系，实现数据全面保护。一是建立企业级安全规范，支持覆盖全生命周期的数据安全保护。参照国家安全等级技术保护要求，结合自身实际情况，我们建立了企业级安全规范体系，重点制定我行重要数据的分类分级规则，明确不同安全等级数据在生命周期各阶段的保护要求。二是完善数据安全防护功能，保护数据的机密性与完整性。通过集中身份认证、数据及用户分级管理，防范非授权访问。

深化数据智能化应用

深化数据智能应用是工商银行ECOS工程建设的重要内容。在大数据平台和有效数据治理的支撑下，我们结合业务热点、痛点以及技术成熟度，优先选取重要程度高、成果共享性强、影响面广见效快的场景重点突破，在客户营销和服务、风险管控、产品创新、运营管理等领域形成创新示范性智能应用场景，推进大数据服务场景创新实践，不断拓展智能应用的广度和深度，努力为金融业智慧转型提供“工行方案”。

推动智能客服和智能营销体系建设。一是有序实现机器智能客服对人工客服低价值耗时业务的替代，稳步推进客户服务向“智能化”转型升级。如在信用卡逾期客户催收场景中，平均每日完成10万通智能外呼，全年可节省人力500人年。二是建立了智能营销新模式，深入洞察客户需求，提升客户营销的精准度和效率，强化我行稳户、拓户能力。如通过手机银行、融e购、网银等各类金融服务渠道，为每个客户提供个性化推荐服务，目前综合推荐点击率达到10%以上，购买转换率接近5%。

建立“一点出险，全面防控”的穿透风险管理能力。在原有风险防控体系之上，重点加强全流程中事前、事中的风险预测与监控，构建涵盖事前、事中、事后全流程的全面风险管控。如利用知识图谱技术，实现客户与客户、产品与客户、产品与产品的交叉分析以及传染路径分析，支持业务快速识别外部风险传导路径，提升交叉性金融风险防控能力；构建智能反欺诈模型，嵌入每笔用户动账交易，实现交易事中毫秒级智能反欺诈识别和处理，2019年实现近200万笔欺诈交易自动识别，直接避免客户欺诈损失约70亿元。

创新金融新产品，为全客户提供个性化智能化服务。利用行内外数据，对客户行为及偏好进行深入分析，实现产品与服务的智能化升级，不断提升客户体验和产品竞争力。例如，实现个人手机银行语音智能菜单推荐，推荐菜单日均点击率15.56%，较专家规则提升6倍；运用知识图谱等技术，创新推出融e借、经营快贷等普惠产品，以智能化技术支持普惠领域业务的稳健发展；创新推出智能投资顾问服务产品