企业数据湖治理实例

数据
星环科技数据解决方案帮助企业对接各类业务系统,汇集各个数据源,实现数据的融通,并对数据进行分类分级、编目治理、安全设计以及质量控制等,实现入“”形成有效数据资源。

企业数据湖治理实例 更多内容

资产,形成企业统一数据治理标准及规范,加强数据安全管控及数据安全。基于TDC的数据整体方案一个完整的数据解决方案需要建立在数据接入、数据存储、数据计算、数据应用、数据治理、元数据数据质量、数据战略,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。数据作为支撑企业数字化转型的数据底座,能够为企业提供数据驱动、精准决策等全方位技术支撑,因此企业级数据的建设,是数据价值逐渐释放的基础,是企业数字化战略转型的关键。企业建设数据一个重要的目标是,面向企业各个事业部、子公司,建设统一数据,用来统一整合企业内、外部各类业务系统数据,保障企业数据全面性和唯一性,以及统一管理内外部数据资源目录、数据安全及数据审计等一些列技术之上。市场上的数据解决方案多数只具备部分能力,给企业建设数据带来障碍。基于星环科技数据云平台TranswarpDataCloud(TDC)、星环大数据开发工具TranswarpDataStudio(TDS)等产品的星环数据解决方案,能够一站式解决企业从建湖到管全部过程,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。在数据阶段,星环科技大数据
来自: 官网 / 案例
数据是集中存储和处理海量多类型数据的平台,数据治理在其中通过规范管理确保数据质量、安全与合规,提升数据价值,助力企业高效决策。1.数据的概念数据是一个集中式的数据处理、存储和管理平台,能够存储访问权限等。数据目录功能使用户能够搜索和发现数据中的数据,提高数据的可访问性和可发现性。数据治理和安全性:数据治理确保数据符合企业的标准和政策,包括数据质量、分类、归档和删除策略。安全性措施包括用户数据管理的成本。增强合规性:在数据中实施数据治理可以确保数据的合规性,符合相关法规和企业内部政策要求。3.数据治理的方法和步骤在数据中实现数据治理需要采取以下方法和步骤:明确治理目标:首先需要明确大量的结构化、半结构化和非结构化数据,并在此基础上提供强大的数据处理和分析能力,使组织能够从数据中获取洞见。数据的工作原理可以分为以下几个步骤:数据采集:数据来源广泛,包括企业内部的ERP系统大数据环境下高效运行。数据分析和探索:数据提供了多种数据分析引擎,满足批量、实时、流式等特定计算场景,支持高并发读取需求,提高实时分析效率。2.数据治理的重要性数据治理是指对数据进行全面管理和控制的
数据是集中存储和处理海量多类型数据的平台,数据治理在其中通过规范管理确保数据质量、安全与合规,提升数据价值,助力企业高效决策。1.数据的概念数据是一个集中式的数据处理、存储和管理平台,能够存储访问权限等。数据目录功能使用户能够搜索和发现数据中的数据,提高数据的可访问性和可发现性。数据治理和安全性:数据治理确保数据符合企业的标准和政策,包括数据质量、分类、归档和删除策略。安全性措施包括用户数据管理的成本。增强合规性:在数据中实施数据治理可以确保数据的合规性,符合相关法规和企业内部政策要求。3.数据治理的方法和步骤在数据中实现数据治理需要采取以下方法和步骤:明确治理目标:首先需要明确大量的结构化、半结构化和非结构化数据,并在此基础上提供强大的数据处理和分析能力,使组织能够从数据中获取洞见。数据的工作原理可以分为以下几个步骤:数据采集:数据来源广泛,包括企业内部的ERP系统大数据环境下高效运行。数据分析和探索:数据提供了多种数据分析引擎,满足批量、实时、流式等特定计算场景,支持高并发读取需求,提高实时分析效率。2.数据治理的重要性数据治理是指对数据进行全面管理和控制的
数据是集中存储和处理海量多类型数据的平台,数据治理在其中通过规范管理确保数据质量、安全与合规,提升数据价值,助力企业高效决策。1.数据的概念数据是一个集中式的数据处理、存储和管理平台,能够存储访问权限等。数据目录功能使用户能够搜索和发现数据中的数据,提高数据的可访问性和可发现性。数据治理和安全性:数据治理确保数据符合企业的标准和政策,包括数据质量、分类、归档和删除策略。安全性措施包括用户数据管理的成本。增强合规性:在数据中实施数据治理可以确保数据的合规性,符合相关法规和企业内部政策要求。3.数据治理的方法和步骤在数据中实现数据治理需要采取以下方法和步骤:明确治理目标:首先需要明确大量的结构化、半结构化和非结构化数据,并在此基础上提供强大的数据处理和分析能力,使组织能够从数据中获取洞见。数据的工作原理可以分为以下几个步骤:数据采集:数据来源广泛,包括企业内部的ERP系统大数据环境下高效运行。数据分析和探索:数据提供了多种数据分析引擎,满足批量、实时、流式等特定计算场景,支持高并发读取需求,提高实时分析效率。2.数据治理的重要性数据治理是指对数据进行全面管理和控制的
行业资讯
数据治理
:制定数据治理的相关规范,如数据标准规范、数据质量规范、数据安全规范等。要求企业内所有使用数据数据和开发人员严格遵守规范,确保数据治理的有效性。治理组织与人员组织架构搭建:建立数据治理的组织数据治理是对数据中的数据及相关流程进行有效管理和优化的一系列活动,旨在提升数据质量、保障数据安全、促进数据共享和提升数据价值。元数据管理元数据采集与存储:从各种数据源和数据处理过程中收集元数据服务:建立数据共享服务平台,为企业内不同部门和用户提供数据共享接口和工具。用户可以通过统一的接口访问数据中的数据,实现数据的共享和复用。数据生命周期管理存储策略规划:根据数据的价值和使用频率,制定数据数据,将历史数据归档到长期存储介质中。治理流程与规范流程设计:建立数据治理的流程,包括数据接入流程、数据处理流程、数据共享流程等。明确各流程的操作规范和责任人,确保数据的运行和管理规范化。规范制定架构,包括数据治理委员会、数据管理员、数据所有者等角色。明确各角色的职责和权限,形成有效的数据治理机制。人员培训与能力提升:对数据治理相关人员进行培训,提高他们的数据治理意识和专业技能。
行业资讯
数据治理
:制定数据治理的相关规范,如数据标准规范、数据质量规范、数据安全规范等。要求企业内所有使用数据数据和开发人员严格遵守规范,确保数据治理的有效性。治理组织与人员组织架构搭建:建立数据治理的组织数据治理是对数据中的数据及相关流程进行有效管理和优化的一系列活动,旨在提升数据质量、保障数据安全、促进数据共享和提升数据价值。元数据管理元数据采集与存储:从各种数据源和数据处理过程中收集元数据服务:建立数据共享服务平台,为企业内不同部门和用户提供数据共享接口和工具。用户可以通过统一的接口访问数据中的数据,实现数据的共享和复用。数据生命周期管理存储策略规划:根据数据的价值和使用频率,制定数据数据,将历史数据归档到长期存储介质中。治理流程与规范流程设计:建立数据治理的流程,包括数据接入流程、数据处理流程、数据共享流程等。明确各流程的操作规范和责任人,确保数据的运行和管理规范化。规范制定架构,包括数据治理委员会、数据管理员、数据所有者等角色。明确各角色的职责和权限,形成有效的数据治理机制。人员培训与能力提升:对数据治理相关人员进行培训,提高他们的数据治理意识和专业技能。
行业资讯
数据治理
:制定数据治理的相关规范,如数据标准规范、数据质量规范、数据安全规范等。要求企业内所有使用数据数据和开发人员严格遵守规范,确保数据治理的有效性。治理组织与人员组织架构搭建:建立数据治理的组织数据治理是对数据中的数据及相关流程进行有效管理和优化的一系列活动,旨在提升数据质量、保障数据安全、促进数据共享和提升数据价值。元数据管理元数据采集与存储:从各种数据源和数据处理过程中收集元数据服务:建立数据共享服务平台,为企业内不同部门和用户提供数据共享接口和工具。用户可以通过统一的接口访问数据中的数据,实现数据的共享和复用。数据生命周期管理存储策略规划:根据数据的价值和使用频率,制定数据数据,将历史数据归档到长期存储介质中。治理流程与规范流程设计:建立数据治理的流程,包括数据接入流程、数据处理流程、数据共享流程等。明确各流程的操作规范和责任人,确保数据的运行和管理规范化。规范制定架构,包括数据治理委员会、数据管理员、数据所有者等角色。明确各角色的职责和权限,形成有效的数据治理机制。人员培训与能力提升:对数据治理相关人员进行培训,提高他们的数据治理意识和专业技能。
一、数据治理数据治理是确保数据质量和可用性的关键过程,涉及数据的管理、监控和优化。以下是数据治理的主要步骤:数据盘点对企业内部的数据进行全面摸底和调研,包括数据来源、数据类型、数据形态、数据模式、数据总量和数据增量等。这个阶段还需要梳理企业的组织结构,明确数据和组织结构之间的关系,为后续的数据用户角色、权限设计和服务方式奠定基础。模型抽象针对企业/组织的业务特点,梳理归类各类数据,对数据进行数据、原始数据数据和原始数据。各类数据按照模型抽象的结果分类存放。融合治理利用数据提供的各类计算引擎对数据进行加工处理,形成各类中间数据和结果数据,并妥善管理保存。数据应具备完善的数据开发、任务管理、任务调度的能力,详细记录数据的处理过程。在治理过程中,需要更多的数据模型和指标模型。业务支撑在通用模型基础上,各个业务部门定制自己的细化数据模型、数据使用流程和数据访问服务。二、数据建设数据限管控能力,保证企业数据的安全性。数据质量控制:避免数据发展成数据沼泽。表管理与优化:管理优化数据格式。存储管理与优化:利用对象存储的冷热分层特性,进行自动化存储管理优化。数据处理与分析根据
一、数据治理数据治理是确保数据质量和可用性的关键过程,涉及数据的管理、监控和优化。以下是数据治理的主要步骤:数据盘点对企业内部的数据进行全面摸底和调研,包括数据来源、数据类型、数据形态、数据模式、数据总量和数据增量等。这个阶段还需要梳理企业的组织结构,明确数据和组织结构之间的关系,为后续的数据用户角色、权限设计和服务方式奠定基础。模型抽象针对企业/组织的业务特点,梳理归类各类数据,对数据进行数据、原始数据数据和原始数据。各类数据按照模型抽象的结果分类存放。融合治理利用数据提供的各类计算引擎对数据进行加工处理,形成各类中间数据和结果数据,并妥善管理保存。数据应具备完善的数据开发、任务管理、任务调度的能力,详细记录数据的处理过程。在治理过程中,需要更多的数据模型和指标模型。业务支撑在通用模型基础上,各个业务部门定制自己的细化数据模型、数据使用流程和数据访问服务。二、数据建设数据限管控能力,保证企业数据的安全性。数据质量控制:避免数据发展成数据沼泽。表管理与优化:管理优化数据格式。存储管理与优化:利用对象存储的冷热分层特性,进行自动化存储管理优化。数据处理与分析根据
产品文档
5.18 全文检索
Hippo在1.2版本提供了全文索引能力,兼容ElasticSearch6.7.2语法,在底层架构上复用了公司产品TranswarpScope的一部分特性,支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求,通过该能力的支持,可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回,可以降低漏检和误检的概率,能够实现比单独使用向量或全文更高的精度。同时,一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外,均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。
产品文档
8 性能分析
本节测试主要描述了Hippo1.0在关键测试上的一些性能表现,该份测试同样也是Hippo的基准测试,后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq),所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集,不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理,使用SIFT算法得到的图片特征向量。...
产品文档
2 Quick Start
ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...
查看Master节点通过以下命令,查看集群Master节点信息:curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果:epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址,支持以*通配,支持指定多个pattern,多个pattern以逗号分割返回结果:
产品文档
5.10 任务相关
在Hippo中,比较耗时的操作如激活、加载向量索引实际上是一个分布式任务,用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果:{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...
产品文档
1 Introduction
OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...
产品文档
5.3 写入类操作
本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数,如果出现行级错误(比如主键冲突),Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...
产品文档
3.3 Cluster
OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...
产品文档
5.7 查询类操作
过滤条件表达式Hippo当前支持如下表达式,可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and,不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符,'%'表示匹配任意字符,'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离,返回最相似的结果集。通过指定标量过滤条件,用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...
产品文档
10 Hippo 运维
运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息,包括:Masterstatus:当前的ActiveMaster,MasterGroup,MasterAddress,Master的健康状态TabletServerStatus:TabletServerAddress,健康状态,逻辑机架和数据中心信息,容量使用以及Tablet个数TabletNum:当前集群表的个数Version:Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息:库名库创建时间库内各类表的信息:点击某个库,可以看到库下所有表的信息,主要包括:••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...