大数据的开发工具

大数据开发工具-TranswarpDataStudioTranswarpDataStudio(简称TDS)是星环科技自研的一站式大数据开发工具，提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力，结合星环科技大数据基础平台TranswarpDataHub（简称TDH）业界创新的多模态的大数据处理能力，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效地实现数据资产化和数据业务化。全链路高可用的一站式平台核心场景面面俱到可视化数据开发平台：提供多样化数据相关工具，支撑全流程的可视化数据开发、监控、运维和告警，实现数据统一化、可视化，构建企业级数据湖、数据层级、跨系统、跨部门的数据共享和业务协同。数据服务平台：集数据API服务开发、发布、调用管理与监控统计为一体的数据服务平台，将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设。数据标签平台：集标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求，赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。

大数据开发工具-TranswarpDataStudioTranswarpDataStudio(简称TDS)是星环科技自研的一站式大数据开发工具，提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力，结合星环科技大数据基础平台TranswarpDataHub（简称TDH）业界创新的多模态的大数据处理能力，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效地实现数据资产化和数据业务化。全链路高可用的一站式平台核心场景面面俱到可视化数据开发平台：提供多样化数据相关工具，支撑全流程的可视化数据开发、监控、运维和告警，实现数据统一化、可视化，构建企业级数据湖、数据层级、跨系统、跨部门的数据共享和业务协同。数据服务平台：集数据API服务开发、发布、调用管理与监控统计为一体的数据服务平台，将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设。数据标签平台：集标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求，赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。

大数据开发工具-TranswarpDataStudioTranswarpDataStudio(简称TDS)是星环科技自研的一站式大数据开发工具，提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力，结合星环科技大数据基础平台TranswarpDataHub（简称TDH）业界创新的多模态的大数据处理能力，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效地实现数据资产化和数据业务化。全链路高可用的一站式平台核心场景面面俱到可视化数据开发平台：提供多样化数据相关工具，支撑全流程的可视化数据开发、监控、运维和告警，实现数据统一化、可视化，构建企业级数据湖、数据层级、跨系统、跨部门的数据共享和业务协同。数据服务平台：集数据API服务开发、发布、调用管理与监控统计为一体的数据服务平台，将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设。数据标签平台：集标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求，赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。

大数据开发工具-TranswarpDataStudioTranswarpDataStudio(简称TDS)是星环科技自研的一站式大数据开发工具，提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力，结合星环科技大数据基础平台TranswarpDataHub（简称TDH）业界创新的多模态的大数据处理能力，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效地实现数据资产化和数据业务化。全链路高可用的一站式平台核心场景面面俱到可视化数据开发平台：提供多样化数据相关工具，支撑全流程的可视化数据开发、监控、运维和告警，实现数据统一化、可视化，构建企业级数据湖、数据层级、跨系统、跨部门的数据共享和业务协同。数据服务平台：集数据API服务开发、发布、调用管理与监控统计为一体的数据服务平台，将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设。数据标签平台：集标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求，赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。

大数据开发工具-TranswarpDataStudioTranswarpDataStudio(简称TDS)是星环科技自研的一站式大数据开发工具，提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力，结合星环科技大数据基础平台TranswarpDataHub（简称TDH）业界创新的多模态的大数据处理能力，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效地实现数据资产化和数据业务化。全链路高可用的一站式平台核心场景面面俱到可视化数据开发平台：提供多样化数据相关工具，支撑全流程的可视化数据开发、监控、运维和告警，实现数据统一化、可视化，构建企业级数据湖、数据层级、跨系统、跨部门的数据共享和业务协同。数据服务平台：集数据API服务开发、发布、调用管理与监控统计为一体的数据服务平台，将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设。数据标签平台：集标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求，赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。

星环科技语料开发工具——星环语料开发工具TCS（TranswarpCorpusStudio），旨在通过全面的语料生命周期管理，极大提升语料开发效率，助力企业或机构高质量地构建大模型及其应用。星环科技语料开发工具(TranswarpCorpusSudio)是一套强大的语料开发工具集，覆盖了语料获取、清洗、加工、治理、应用和管理的全生命周期，该工具集具备多种灵活的采集和构建方式，能够分布式地高效处理和适用性。星环语料开发工具的核心优势：强大的语料知识化能力。它能够自动标注知识元素、识别知识类型、推荐知识应用，并构建有针对性的场景知识库。这一能力极大地简化了知识管理和知识应用的过程，使企业能够更快速地从数据中提取有价值的信息。易用的语料应用化能力。支持将语料快速转化为多种应用形态，如自然语言处理、机器学习等，大大降低了应用语料的门槛，加速了从数据到知识的转化过程。完善的数据安全机制。TCS提供了完善的认证权限管理和加密机制，确保语料数据、模型和应用的安全可信，满足企业对数据保护的严格要求。海量语料，满足不同行业和应用场景的需求。TCS内置了丰富的智能化语料加工能力，包括通用性或具有行业特殊性的清洗、转换、标注、增强、质检、合规检查等。这些功能不仅提高了语料处理的效率，也确保了语料的质量

星环科技语料开发工具——星环语料开发工具TCS（TranswarpCorpusStudio），旨在通过全面的语料生命周期管理，极大提升语料开发效率，助力企业或机构高质量地构建大模型及其应用。星环科技语料开发工具(TranswarpCorpusSudio)是一套强大的语料开发工具集，覆盖了语料获取、清洗、加工、治理、应用和管理的全生命周期，该工具集具备多种灵活的采集和构建方式，能够分布式地高效处理和适用性。星环语料开发工具的核心优势：强大的语料知识化能力。它能够自动标注知识元素、识别知识类型、推荐知识应用，并构建有针对性的场景知识库。这一能力极大地简化了知识管理和知识应用的过程，使企业能够更快速地从数据中提取有价值的信息。易用的语料应用化能力。支持将语料快速转化为多种应用形态，如自然语言处理、机器学习等，大大降低了应用语料的门槛，加速了从数据到知识的转化过程。完善的数据安全机制。TCS提供了完善的认证权限管理和加密机制，确保语料数据、模型和应用的安全可信，满足企业对数据保护的严格要求。海量语料，满足不同行业和应用场景的需求。TCS内置了丰富的智能化语料加工能力，包括通用性或具有行业特殊性的清洗、转换、标注、增强、质检、合规检查等。这些功能不仅提高了语料处理的效率，也确保了语料的质量

近日，星环科技重磅发布大数据开发工具TranswarpDataStudio4.0版本，新版针对数据资产运营和语料管理的过程实现了三大能力提升。第一，提升了数据管理的广度：为应对AI时代下对各种语料的等功能，助力资产持续运营。第二，数据管理的深度更深：针对数据资产和语料体量巨大的问题，原来的纯工具管理就必须要接入智能化和自动化。因此TDS4.0新版本增加了入湖向导和智能盘点的能力。其中入湖向导是基础管理能力，TDS资产目录提供兼具技术视角和业务视角的多重目录体系，在原来管理结构化数据的基础上，支持非结构化数据的管理，同时也覆盖API、指标、消息列队等其他类型数据的支持。新版本提供了一套灵活、多视角的资产编目，提供各种的资产归集归类，能够在上面做管理发布。在资产目录中，可通过资产地图查看业务系统之间的数据流向，通过资产全景查看单个数据资产的全维度信息。TDS还提供资产智能检索、编目智能推荐对元数据采集、数据资产识别、业务语义补充等数据资产盘点过程提供自动化、智能化产品能力，快速完成资产盘点。第三，数据价值体现更聚焦高时效性场景：TDS结合星环分布式数据库ArgoDB湖仓集一体的能力，打造

近日，星环科技重磅发布大数据开发工具TranswarpDataStudio4.0版本，新版针对数据资产运营和语料管理的过程实现了三大能力提升。第一，提升了数据管理的广度：为应对AI时代下对各种语料的等功能，助力资产持续运营。第二，数据管理的深度更深：针对数据资产和语料体量巨大的问题，原来的纯工具管理就必须要接入智能化和自动化。因此TDS4.0新版本增加了入湖向导和智能盘点的能力。其中入湖向导是基础管理能力，TDS资产目录提供兼具技术视角和业务视角的多重目录体系，在原来管理结构化数据的基础上，支持非结构化数据的管理，同时也覆盖API、指标、消息列队等其他类型数据的支持。新版本提供了一套灵活、多视角的资产编目，提供各种的资产归集归类，能够在上面做管理发布。在资产目录中，可通过资产地图查看业务系统之间的数据流向，通过资产全景查看单个数据资产的全维度信息。TDS还提供资产智能检索、编目智能推荐对元数据采集、数据资产识别、业务语义补充等数据资产盘点过程提供自动化、智能化产品能力，快速完成资产盘点。第三，数据价值体现更聚焦高时效性场景：TDS结合星环分布式数据库ArgoDB湖仓集一体的能力，打造

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...