图数据库的使用案例

图数据库具有处理大规模复杂关系数据的优势，因此在许多领域都有广泛的应用。下面介绍一个图数据库在金融行业的应用案例。案例背景中信证券股份有限公司于2021年启动国产图数据库项目。项目开展之前，中信证券数据操作、查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统及统一的资源管理框架，满足利用一个多模异构平台处理多种数据的需求。StellarDB图数据库构建在这个数据处理平台之上。其图，计算引擎能根据不同的存储引擎自动匹配高性能算法，无需用户手工干预，从而便捷地实现跨库关联，避免数据导入导出。在图数据库服务的顶层，还提供了丰富的接口，如Java、Python、RESTfulAPI等资源管理和权限管理等。随着国产图数据库越来越成熟，大型银行已广泛布局国产图数据库。中信证券基于星环科技分布式图数据库StellarDB和知识图谱平台Sophon知识图谱重构了企业图谱及相关应用，满足了统架构取代了依赖py2neo第三方插件的数据处理框架，使用星环科技大数据开发工具TDS产品，实现数据处理和调度的统一管理，将数据存储到大数据组件hive中，实现了历史数据的数据迁移，也安排了全量和增量的

图数据库具有处理大规模复杂关系数据的优势，因此在许多领域都有广泛的应用。下面介绍一个图数据库在金融行业的应用案例。案例背景中信证券股份有限公司于2021年启动国产图数据库项目。项目开展之前，中信证券数据操作、查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统及统一的资源管理框架，满足利用一个多模异构平台处理多种数据的需求。StellarDB图数据库构建在这个数据处理平台之上。其图，计算引擎能根据不同的存储引擎自动匹配高性能算法，无需用户手工干预，从而便捷地实现跨库关联，避免数据导入导出。在图数据库服务的顶层，还提供了丰富的接口，如Java、Python、RESTfulAPI等资源管理和权限管理等。随着国产图数据库越来越成熟，大型银行已广泛布局国产图数据库。中信证券基于星环科技分布式图数据库StellarDB和知识图谱平台Sophon知识图谱重构了企业图谱及相关应用，满足了统架构取代了依赖py2neo第三方插件的数据处理框架，使用星环科技大数据开发工具TDS产品，实现数据处理和调度的统一管理，将数据存储到大数据组件hive中，实现了历史数据的数据迁移，也安排了全量和增量的

社会生活，以及经济发展模式都到了全面转型的时期，为了在企业竞争中获得优势，从数据中获取更多价值，需要使用图数据库和图算法获取深层次的统计信息。这部分信息在关系型数据库无法获取，借助图神经网络和知识图谱的帮助9月4日，由中华人民共和国商务部和北京市人民政府共同主办的2020年中国国际服务贸易交易会（简称服贸会）正式召开，服贸会是全球首个、目前规模大的服务贸易领域综合型展会。星环科技“基于图数据库的知识中国对外开放的三大展会之一。在高规格会议期间，星环科技呈现的科技创新驱动行业发展的优秀成果：“基于图数据库的知识图谱平台”展示了其在金融反欺诈、智能客服、商业智能等场景中发挥的巨大作用，受到在场各界领导，尝试获取深层次的规律，在数据中获取更多价值，助力构建数字时代新结构性力量，将推动科技创新和新经济的发展。星环科技基于图数据库知识图谱平台通过交互式图谱分析工具、分布式图算法、行业图谱模板库，助力指标无法识别的风险，明确风险传导路径、提高风控精度和风控水平。让用户对海量数据触手可及作为上海市优秀科技企业代表，星环科技展示了知识图谱平台以自主研发的分布式图数据库、时空库为基础，集知识获取、融合

社会生活，以及经济发展模式都到了全面转型的时期，为了在企业竞争中获得优势，从数据中获取更多价值，需要使用图数据库和图算法获取深层次的统计信息。这部分信息在关系型数据库无法获取，借助图神经网络和知识图谱的帮助9月4日，由中华人民共和国商务部和北京市人民政府共同主办的2020年中国国际服务贸易交易会（简称服贸会）正式召开，服贸会是全球首个、目前规模大的服务贸易领域综合型展会。星环科技“基于图数据库的知识中国对外开放的三大展会之一。在高规格会议期间，星环科技呈现的科技创新驱动行业发展的优秀成果：“基于图数据库的知识图谱平台”展示了其在金融反欺诈、智能客服、商业智能等场景中发挥的巨大作用，受到在场各界领导，尝试获取深层次的规律，在数据中获取更多价值，助力构建数字时代新结构性力量，将推动科技创新和新经济的发展。星环科技基于图数据库知识图谱平台通过交互式图谱分析工具、分布式图算法、行业图谱模板库，助力指标无法识别的风险，明确风险传导路径、提高风控精度和风控水平。让用户对海量数据触手可及作为上海市优秀科技企业代表，星环科技展示了知识图谱平台以自主研发的分布式图数据库、时空库为基础，集知识获取、融合

必不可少的新型数据基础设施之一。如今整个社会生活，以及经济发展模式都到了全面转型的时期，为了在企业竞争中获得优势，从数据中获取更多价值，需要使用图数据库和图算法获取深层次的统计信息。这部分信息在关系型9月4日，由中华人民共和国商务部和北京市人民政府共同主办的2020年中国国际服务贸易交易会（简称服贸会）正式召开，服贸会是全球首个、目前规模大的服务贸易领域综合型展会。星环科技“基于图数据库的知识中国对外开放的三大展会之一。在高规格会议期间，星环科技呈现的科技创新驱动行业发展的优秀成果：“基于图数据库的知识图谱平台”展示了其在金融反欺诈、智能客服、商业智能等场景中发挥的巨大作用，受到在场各界领导数据库无法获取，借助图神经网络和知识图谱的帮助，尝试获取深层次的规律，在数据中获取更多价值，助力构建数字时代新结构性力量，将推动科技创新和新经济的发展。星环科技基于图数据库知识图谱平台通过交互式图分布式图数据库、时空库为基础，集知识获取、融合、建模、存储、计算及应用为一体，支持交互式图谱构建、知识存储、分布式图谱计算以及图谱案例分析。平台结合了自然语言处理和深度图计算能力，可快速搭建语义搜索、问答

与传统的数据库模型相比，图数据库具备多种优势。使用图数据库的主要好处：重点关系：图数据库擅长于管理和分析数据元素之间的关系。它们专门设计用于高效存储、遍历和查询复杂的互连关系，因此成为那些严重依赖关系的应用程序的佳选择。性能：图形数据库能够快速高效地查询导航关系。它们利用针对图形的特定算法和索引技术来优化遍历操作，并实现快速检索连接的数据。灵活性：图形数据库提供了模式的灵活性，能够随着时间的推移而演化。而无需对现有数据模型进行大规模修改，就可以添加新的节点、关系和属性。这种灵活性有助于敏捷开发和适应不断变化的业务需求。可扩展性：图数据库可以通过将数据分布到多个服务器或节点来实现水平扩展。这种架构使得它们能够轻松处理大型且持续增长的数据集，同时保持高性能。此外，图数据库的分布式特性还支持高可用性和容错能力。深入了解：图形数据库能够揭示其他数据库模型中可能无法立即展现的隐藏模式、依赖关系和见解。通过分析关系，图形数据库呈现了有价值的见解，可以为精明决策提供推动力，促进建议，并支持高级分析。自然表示数据：图数据库与数据的自然结构方式非常相符，特别是在关系发挥关键作用的领域。图模型紧密反映了

图数据库使用在当今数据驱动的世界里，传统的关系型数据库已经无法完全满足复杂数据关系的处理需求。图数据库作为一种新兴的数据库类型，因其独特的存储和查询方式，正在各个领域展现出强大的应用潜力。图数据库的"喜欢A产品的用户也喜欢B产品"这类模式，从而提供个性化推荐。知识图谱的构建和管理也大量依赖图数据库技术，它能有效地组织和查询实体间的丰富关系。图数据库查询语言大多数图数据库使用专门的查询语言，这些支持多种图算法，如合适的路径查找、社区发现、影响力传播分析等。这些算法可以直接应用于存储的数据图上，无需额外的数据处理步骤，大大简化了复杂分析的实现过程。使用图数据库的注意事项虽然图数据库优势明显，但并非所有场景都适合使用。对于简单的数据结构和以单实体操作为主的应用，传统数据库可能更为合适。图数据库通常需要更多的内存资源，因为要保持关系的高速遍历能力。数据建模方面，图数据库需要不同的思维方式。设计者需要重点关注实体间的关系，而非传统的表格结构。良好的图数据模型应该反映业务领域中的真实交互模式，而非简单地移植关系型设计。随着数据复杂度的不断提高，图数据库的重要性将日益凸显。掌握图数据库的使用

与传统的数据库模型相比，图数据库具备多种优势。使用图数据库的主要好处：重点关系：图数据库擅长于管理和分析数据元素之间的关系。它们专门设计用于高效存储、遍历和查询复杂的互连关系，因此成为那些严重依赖关系的应用程序的佳选择。性能：图形数据库能够快速高效地查询导航关系。它们利用针对图形的特定算法和索引技术来优化遍历操作，并实现快速检索连接的数据。灵活性：图形数据库提供了模式的灵活性，能够随着时间的推移而演化。而无需对现有数据模型进行大规模修改，就可以添加新的节点、关系和属性。这种灵活性有助于敏捷开发和适应不断变化的业务需求。可扩展性：图数据库可以通过将数据分布到多个服务器或节点来实现水平扩展。这种架构使得它们能够轻松处理大型且持续增长的数据集，同时保持高性能。此外，图数据库的分布式特性还支持高可用性和容错能力。深入了解：图形数据库能够揭示其他数据库模型中可能无法立即展现的隐藏模式、依赖关系和见解。通过分析关系，图形数据库呈现了有价值的见解，可以为精明决策提供推动力，促进建议，并支持高级分析。自然表示数据：图数据库与数据的自然结构方式非常相符，特别是在关系发挥关键作用的领域。图模型紧密反映了

图数据库使用在当今数据驱动的世界里，传统的关系型数据库已经无法完全满足复杂数据关系的处理需求。图数据库作为一种新兴的数据库类型，因其独特的存储和查询方式，正在各个领域展现出强大的应用潜力。图数据库的"喜欢A产品的用户也喜欢B产品"这类模式，从而提供个性化推荐。知识图谱的构建和管理也大量依赖图数据库技术，它能有效地组织和查询实体间的丰富关系。图数据库查询语言大多数图数据库使用专门的查询语言，这些支持多种图算法，如合适的路径查找、社区发现、影响力传播分析等。这些算法可以直接应用于存储的数据图上，无需额外的数据处理步骤，大大简化了复杂分析的实现过程。使用图数据库的注意事项虽然图数据库优势明显，但并非所有场景都适合使用。对于简单的数据结构和以单实体操作为主的应用，传统数据库可能更为合适。图数据库通常需要更多的内存资源，因为要保持关系的高速遍历能力。数据建模方面，图数据库需要不同的思维方式。设计者基本概念图数据库的核心在于以"图"的形式存储数据，这与我们常见的表格形式截然不同。在图数据库中，数据被表示为节点（实体）和边（关系）的组合。节点可以代表任何事物，如人物、地点、产品等；边则描述这些节点

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。