联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >

行业资讯

首页>行业资讯>数据中台建设>

数据中台建设

发布时间 2023-05-18

数据中台
星环数据中台解决方案聚合跨域数据,对数据进行清洗、转换、整合,实现数据标准化、集成化、标签化,沉淀共性数据服务能力,以快速响应业务需求,支撑数据融通共享、分析挖掘和数据运营,创造业务价值。

随着行业和技术领域的变化日新月异,从数据仓库、动态数仓,到数据湖,从新一代湖仓一体技术到可插拔数据库,概念的引入虽然简单,但如何做到更有效,更复杂的数据资产管理就考验着对生产能力和工艺过程的管理能力。星环科技认为数据中台是一种能力、是一种组织上的策略而不仅仅是一种技术架构,它是在信息化基础上建立的可编织和可复用的数据可分析能力,从而支撑企业数字化转型。

 

星环科技的数据中台  三中心、六能力、两个体系

星环科技很早就在数据中台领域布局,结合星环科技全系产品的相关组件实现数据中台能力建设。星环科技把数据中台建设归纳为三中心、六能力、两个体系,这当中都会有星环科技产品作为支撑,从而保证企业能够快速实现,并搭建起数据中台,满足企业未来发展变化。

数据存储、分析探索、业务赋能三中心

第一,帮助企业构建存储中心,提升数据的汇聚和整合能力;

第二,构建数据分析探索中心,专注于智能分析能力和实时计算能力的提升,推动智能推荐能力和全链路实时监测和保障能力;

第三,构建业务赋能中心,提供统一的访问能力实现跨平台联邦,统一的访问层控制,确保数据安全可用,同时搭建统一的服务能力,面向多场景的服务应用支撑。

安全和运维、数据和分析,两大体系

安全和运维保障体系,在安全、运维保障体系中,安全与运维管理是需要嵌入三中心、六能力建设的各个环节中去,从而提供相关的安全与运维保障,但同时也需要帮助企业搭建起组织保障体系,企业的数字化转型需要领导意识的转型和组织变革的转型。组织保障主要体现在数据治理组织、数据运维组织、分析团队组织等建设。

数据和分析支撑体系,有了组织团队就需要将之落实到数据的开发、管理、使用的全流程中,将各岗位的运营管理工作与平台操作有机结合,数据中台的建设离不开数据开发者、管理者和使用者,星环科技面向这三类用户构建了数据资源目录,数据资产目录和数据服务目录,三目录体系搭建起数据管理的支撑体系。

三中心、六能力、两个保障体系都构建在一个云底座之上,满足企业私有化或者混合云多云的部署形态,同时灵活组件式的可插拔式部署形态,能够帮助企业更迅速的起步,按规划分步完善数据中台建设。

 

服务自助、数据自治、平台自理   降低用户使用门槛

数据中台的建设目标是帮助企业实现服务自助、数据自治、平台自理。星环科技认为如何有效把数据资产盘活、盘清、促进使用,如何对整个数据管理过程形成有效自动化的帮助,同时对数据资产能够形成一站式的全景应用和体验,是确保数据中台建设成功并且能用起来的关键。唯有这样的目标才能降低用户的使用门槛,更快、便捷地帮助企业建设数据中台

企业数字化底座的构建面向的是三类用户进行,因此构建这三类用户的体系就是构建数据中台。面向开发者,需要提供集约化的数据平台底座,由数据存储、分析、计算和操作能力来共同构建数据可用的基础平台;面向管理者,需要构建一套常态化的精益治理体系,能够提供便捷的管理,清洁的数据,让数据好用;面向使用者,需要建设智能化分析运营生态,让使用者能够在数据会用、好用的基础上,更方便的使用。

在搭建数据可用环境过程中,星环科技更关注架构的优化和资产的盘点;在数据整合和治理过程中,星环科技注重落实数据的规范、确保数据的质量,保障数据的安全;在数据分析和使用过程中,提供好用的标签,智能化的分析应用与共享服务访问体系。除此之外,星环科技认为企业数据中台建设还离不开四个方面的保障,包括基础平台搭建、工具运用、服务实施能力和企业自身的组织保障。

数字底座的核心是大数据平台,开源的架构是用多个不同的开源组件融合而产生,存在大量适配性、操作和开发困难等问题。星环科技从一开始就提出统一架构多模型大数据底座,以星环云原生操作系统 TCOS 做整个资源层管控,同时构建统一的数据管理模式,支撑多元异构的数据模型,其中包括统一的计算引擎,统一的查询语言,标准的 SQL 化操作模式,便于用户沉浸于交互式的查询体验。

星环科技在 2022 春季新品发布周上推出了 ArgoDB 5.0 版本,在新一代 ArgoDB 的带动下,星环实现了新一代实时多模存储引擎的提升和向量化计算引擎的提升,用这两个强大的计算引擎和查询引擎来改善传统意义上批流融合所带来的实时数仓的建设,以及相关隐私计算和多模分析等场景能力的提升,帮助企业构建三中心、六能力之中的数据存储中心和分析中心以及访问中的联邦计算等整体性建设的基础要求。

此外,实时数据接入是大势所趋,批流融合是数据中台构建的关键,星环科技通过上述两项引擎技术,采用流批能够进一步融合的高效存储模式,提供数据入库即可查询的保障。同时,提供了标准化的 SQL 来实现流的开发,不仅屏蔽了繁琐的流专有语言开发的难度,同时在便捷开发访问模式下,可以与平时的批量查询进一步快速融合,大大提升开发效率和开发便捷性。

在业务扩张、数据膨胀的压力下,星环科技也提供快速扩容的能力。有了这些基础设施之后,还需要考虑如何把工具平台更有效充分的应用起来,工具层如何帮助企业实现从基础平台到上层服务的建设。第一步数据要入湖,可以通过图形化的配置,配置数据源,配置目标端,配置转化规则来逐步实现整个配置转化的逻辑。同时,设置相应的任务调度计划,就可以纳入到每天日常的运行过程中,从而完成批量和实时数据的接入。在数据清洗和复杂的转换过程中,整合入仓是星环科技更看重的工艺环节,对源数据的业务探查,数据模型的设计开发,批流任务的编排和调试等一些列操作来保障实施工艺要求的落地。

在开发过程中,不仅入湖、入仓都有相应的图形化工具,对于数据治理层面星环科技也提供了结合自身的盘规治用的全套数据治理方法论,提供了相应的图形化的工具,能够帮助企业配置数据源,定义元数据,形成相应资产盘点和资源登记。在数据的逻辑模型开发过程中,直接可以引用数据标准,来规范模型的设计,实现数据设计过程中的规范化的开发,检查数据标准的落标。同时在日常跑批过程中,或数据探查中也可以嵌入相应的数据质量检查任务,可配置数据质量规则,形成日常的质量报告,以及通过相应质量问题的跟踪处置机制,来提升数据质量。所有数据加工与管理的 终目的都是为了使用,星环科技提供了数据资产目录的资产挂载以及目录检索,并可查看数据分布、血缘等特性,帮助企业业务人员或者其他技术开发人员更多的参与到数据资产的认知过程中,了解数据资产分布。   

资产的使用是现在企业建设的重点和难点,如何有效地盘点数据资产和对数据编目形成相关的多视角,多业务目录,技术目录的混合编目体系,是比较难以权衡的一点。通过 TDS 组件当中的资产编目方式,三目录的体系能够进一步的帮助开发者、数据湖管理者、业务用户以及数据使用者更好地了解数据,通过智能化的识别和标注,能够减少或提升在过往数据资产盘点与编目当中繁琐的工作所带来的工作压力和维护难度。同时,也可以通过冷热度指数帮助用户更好的判别数据资产的价值和使用的便利性。

有了资产的检索和发布之后,就可以在商城上看到检索到自己所要的数据集,对数据集提供相应业务流程资源的申请,并可以下载和使用。除了数据集这种使用方式之外,平台也提供了 API服务接口,可以对平台内的数据定义,通过便捷化的低代码开发方式,图形化定义方式就可以生成相关 API 暴露出来,提供给其他业务系统去调用和访问。同时,对于 API 提供高性能、高可用性和横向扩容的技术保障。

另外,对于初级数据标签化的使用也提供了基本的功能,能够帮助业务用户在数据集的下载和 API访问之外,也能够在线通过简化的标签或者组合标签的使用,查询一些数据,获得自己想要的相关数据集合或者检索信息的使用。

除上述提到的基础组件和相应的工具,快速的帮助客户构建起数据中台之外,星环科技还提供了咨询实施服务。当客户刚进入数字化转型的新赛道,仅靠购买基础软硬件就实现数据中台是不够的,星环科技可以为企业提供量声定制的“数据云基础设施+咨询服务的端到端产品+服务”的综合解决方案。在星环科技的咨询服务产品体系中,包括为企业构建中台的架构规划、应用规划,以及帮助企业实施建设数据底座、数据中台数据仓库,以及数据治理服务,也包括了数据的分析、业务分析、智能分析和业务场景应用规划等咨询实施服务。

星环科技致力于为企业提供一站式的产品和服务:拥有完整成熟的全套数据管理咨询方法论体系,来更好地结合产品的设计,能够提供一个完整的实施建设的工艺保障,能够帮助企业更快速有效的搭建起数据中台,成为长期的合作伙伴。

 

关键词:
数据中台建设,数据中台建设

热门产品

  • TDC星环数据云平台(TDC),基于云原生技术融合数据 PaaS、分析PaaS、应用 PaaS,实现数据端到端全生命周期管理。

  • TDS数据开发 | 数据治理 | 共享交换 支撑企业级数据治理和数据资产平台建设

  • SophonSophon-星环智能分析工具,分布式计算、多模态处理、图形化建模、隐私密保护、云边化一体。

  • KunDB星环分布式交易型数据库 SQL兼容、强一致、高性能、高可用

  • ArgoDBTranswarp ArgoDB 是星环科技自主研发的分布式分析型闪存数据库,可以替代Hadoop+MPP混合架构。支持标准SQL语法,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等领先技术能力。