联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >

行业资讯

首页>行业资讯>湖仓集一体大数据平台案例>

湖仓集一体大数据平台案例

发布时间 2023-09-12

湖仓一体
星环科技湖仓一体平台依托多模型数据管理平台,打破传统Hadoop+MPP混合架构,提供统一资源管理、统一存储管理、统一计算引擎和统一数据操作四层统一架构,真正实现湖仓技术架构统一。贯穿这四层架构,星环科技湖仓一体平台还提供全生命周期的数据管控能力,可以实现多模态数据以及元数据的统一管控,同时支持统一的多租户管理,可确保在湖仓一体平台上的租户从资源层、数据层、应用层等都能实现完整隔离。

项目背景

江苏紫金农村商业银行股份有限公司(简称紫金农商银行),是经中国银行业监督管理委员会批准筹建,由南京市辖区内原4家农村中小金融机构按照市场化原则组建而成的股份制农村商业银行。作为南京市地方法人银行,借助南京市具有的承东启西、联通南北的区位优势,主动融入南京高质量发展新形势,较好实现了与地方经济同频共振,发展成果更多惠及本地居民,各项工作呈现不断向好发展态势。2019年1月3日,紫金农商银行成功登陆上交所A股主板市场,成为全国首家A股上市的省会城市农商行。

紫金农商银行自2011年成立主要使用关系型数据库Oracle和DB2,随着业务数据量增加以及对数据处理能力要求的提升,逐步发现传统数据库在数据存储、数据加工等方面具有局限性。并于2016年,与星环科技展开合作建设大数据平台,逐步引入分布式存储和分布式计算技术,使用星环科技关系型分析引擎Inceptor实现高性能的存储与计算能力,对接上层业务应用系统完成多维数据查询、分析等需求。

但随着该行数据量的持续扩张,并伴随业务对数据时效性的要求,原大数据集群已不满足未来行内数字化转型的规划与实施。为满足行内未来发展规划,紫金农商银行积极加速数字化转型,建立数字化转型工作组织架构,对现有大数据平台进行升级,依托湖仓一体的架构,实现数据的统一归集,提高平台性能的同时,加强数据时效性和多数据模型融合分析能力,拓展和提升数据应用场景和服务能力。

 

解决方案

依据行内的需求和未来对大数据平台的规划,紫金农商银行和星环科技设计了大数据平台升级方案,将原平台中星环关系型分析引擎Inceptor升级为星环分布式数据库ArgoDB,承载原有业务的同时基于ArgoDB构建了湖仓集一体化平台,实现原平台的升级,综合能力和性能提升,在满足现阶段业务的同时为未来平台业务发展打下基础。

整个迁移实施方案过程分为三个阶段,应用分析调研及方案设计、数仓模型设计和迁移实施及验证。根据行内数据新旧程度、重要性、算法类型和数据层次等维度定制了不同的迁移策略,同时使用星环科技自研的工具实现原平台中TB级海量数据、上千数据模型表的一键式、全量、无损搬迁。星环自研的脚本迁移工具提高了脚本迁移的效率和安全性,无需人工开发干预,实现存储过程的平滑迁移。

紫金农商银行基于星环科技ArgoDB构建湖仓集一体的架构,整体迁移数据仓库、ODS系统、大数据平台,统一承载多数据类型和分析查询负载。同时,基于行内统一调度平台,实现大数据平台作业的统一调度和管理,提高大数据平台的作业运行效率、供数时效性及高可用性。并且规划紫金农商银行企业级的数据管控体系及支撑平台,从根源上解决目前在各业务领域存在的数据问题,提升紫金农商银行对业务发展的数据支撑能力。

此外,紫金农商银行创新的建立了基于行内系统的应用数据集市区,建立各类主题数据集市,为下游系统提供各类接口及其他数据服务,统一在大数据平台加工可实现全行元数据管理,开发数据资产并提升数据治理能力,同时在大数据平台也能实现数据的统一性以及数据可追溯和敏捷开发。

基于ArgoDB多模型能力,紫金农商银行将行内历史存量影像资料归档至大数据平台,建立影像平台,实现影像资料的便捷查询,扩充业务查询范围。

基于星环实时流计算引擎SlipStream ,紫金农商银行搭建准实时数据区,实现行内系统数据的实时同步和联社准实时数据的接入,方便客户经理实时查看绩效数据,并借助于准实时数据,行内开发了准实时大屏、准实时驾驶舱等各类应用落地。

基于ArgoDB构建的湖仓一体架构,可将省联社数据、行内数据以及外部数据接入到大数据集群,根据入仓原则将部分数据入仓,入仓后设计了技术缓冲层、贴源模型层、整合模型层、共性加工层和应用集市层。将存于库内不同模型的数据,以统一的SQL接口,调度不同模态的数据,实现了Holodesk表、Hyperdrive、Search表等数据的多表关联的加工逻辑,能有效减少数据冗余化多地存储、数据转储、多次数据解析等工作。

 

实施成效

架构、性能和效率提升

低成本平滑迁移 ArgoDB支持多种SQL方言,兼容原平台语法,实现原平台数据平滑迁移。同时,湖上建仓,数据仓库可直接访问数据湖数据无需迁移,避免数据导入导出,降低ETL成本,提高数据分析效率。

湖仓集一体架构 基于ArgoDB一体化多模数据库架构构建的湖仓集一体架构平台使得紫金农商银行平台综合能力极大提升,一个数据库即可完成多模数据原样存储(湖)+模型加工(仓)+主题查询(集),实现全数据,全场景,全融合, 大限度降低企业TCO。

多模型数据统一存储管理 在日结报表、监管报表加工场景中,应对多维度数据的关联分析业务场景,ArgoDB支持业界主流的10种存储模型建立历史数据区,存储行内历史数据,包括结构化、半结构化、非结构化文件,实现行内数据文件的统一归集,以统一的SQL接口,调度不同模态的数据,实现了Holodesk表、Hyperdrive、Search表等数据的多表关联的加工逻辑,能有效减少数据冗余化多地存储、数据转储、多次数据解析等工作。

性能提升 平台性能大幅提升,数据导入性能提升30%,分析场景性能提升7倍以上,数据扫描性能提升10倍。新的大数据平台支持读写分离,支持业务高并发查询和批量跑批,并且基于高可用部署,节点宕机不影响数据库正常使用。

业务效率提升 业务人员的数据查询更快,数据准确度更高,查询更便捷。科技部门可以便捷实现数据可视化展示,同时业务人员可进行自主查询,科技人员可以更专注于技术研发,而不是花费时间精力在取数等流程上。

 

实现多个应用创新

驾驶舱应用

星环科技ArgoDB支持多种数据存储形式,采用向量化加速,提供高性能的分析计算能力,支持流、表等多格式数据的交互查询,实现数据的落地查询和秒级响应。紫金农商银行利用大数据平台汇总联社及行内各业务系统数据,并结合行领导和业务需求开发各类考核、经营、风险、预警类指标,并对下游系统开放接口,实现数据在移动端驾驶舱、大屏的可视化展示,更直观、更清晰地掌握行内当前的整体经营情况,更便捷地查询到各项经营指标数据,发挥数据对经营管理的指示作用。

 

金融影像平台

星环科技ArgoDB支持结构化、半结构化和非结构化数据存储管理,基于此能力紫金农商银行建立了金融影像平台,集合报表、账单、电子文档、图片、音频、视频等数据,实现对半结构化、非结构化数据的集中管理,并提供统一数据服务接口为金融各个业务系统提供统一的查询、调阅、修改等服务功能,对外提供非结构化数据的传输、存储、检索与调阅能力的同时,通过AI赋能对外提供非结构化文档自动分类、关键要素自动提取、资料智能质检审核等能力。

 

互联网信贷业务全周期服务

与传统信贷业务不同,互联网信贷更依赖于数据的支撑。紫金农商银行依托于外部数据和大数据平台的实时接口,实现对客户贷中、贷后流程监控以及模型规则的回溯。在贷前阶段,基于ArgoDB支持高速数据调用,开发行内数据指标,供决策引擎实时接口调用,完成客户准入。在贷中阶段,ArgoDB接入行内数据和外部数据,开发风险数据集市,为风险预警和贷后检查提供数据支撑。在贷后阶段,基于ArgoDB构建的历史数据区,可实现信贷模型规则的历史数据回溯,验证模型的有效性。

 

总结与展望

基于ArgoDB构建的湖仓集一体架构平台一期项目建设已经完成,充分实现了当初的建设目标,接下来该农商行将与星环科技继续深入合作,进一步扩展和加强湖仓集一体架构平台支撑能力。如基于星环ArgoDB扩展主题数据集市规模,增建营销、经营等数据集市,同时进一步拓展历史区数据存储,实现行内各类影像资料、手工台账等数据的归集,并且丰富实时数据区数据服务场景,为网贷类产品的准入提供实时数据接口,丰富大屏驾驶舱各类指标数据。

此外,在扩大集群规模的同时,建设数据治理平台,实现湖仓各链路的元数据采集,打造包括数据地图、数据标准、数据资产管理、数据集成管理、数据交换管理、主数据管理等模块的数据治理工具。并基于星环ArgoDB建设湖仓一体的监控指标运营平台,采集和分析集群中数据库资源运行的计算、存储资源等数据,实现告警以及服务状态、用户资源等运营指标监控。

 

关键词:
湖仓集一体,大数据平台

热门产品

  • TDC星环数据云平台(TDC),基于云原生技术融合数据 PaaS、分析PaaS、应用 PaaS,实现数据端到端全生命周期管理。

  • TDS数据开发 | 数据治理 | 共享交换 支撑企业级数据治理和数据资产平台建设

  • SophonSophon-星环智能分析工具,分布式计算、多模态处理、图形化建模、隐私密保护、云边化一体。

  • KunDB星环分布式交易型数据库 SQL兼容、强一致、高性能、高可用

  • ArgoDBTranswarp ArgoDB 是星环科技自主研发的分布式分析型闪存数据库,可以替代Hadoop+MPP混合架构。支持标准SQL语法,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等领先技术能力。