港口业务数据中台

最大化。简单来说，数字中台就像是港口的“智慧大脑”，能够对港口运营过程中产生的海量数据进行集中管理和深度分析，为港口的各项业务决策提供精准、及时的数据支持。从原理上看，数字中台主要基于云计算、大数据提供了丰富的素材。通过数据仓库和数据湖的结合，数字中台能够满足港口不同层次、不同类型的数据需求，为港口的业务发展提供全方位的数据支持。未来展望：驶向智能港口的新征程展望未来，港口数字中台的发展前景一片互联互通，形成一个庞大的物联网生态系统。区块链技术在港口数字中台的应用也将逐渐成熟。区块链具有去中心化、不可篡改、可追溯等特点，能够有效解决港口数据共享和信任问题。在业务拓展方面，港口数字中台将推动港口与上下游产业的深度融合。通过与物流企业、贸易企业、金融机构等建立更紧密的合作关系，港口可以实现产业链的延伸和拓展，提供更多增值服务。从全球贸易视角来看，港口数字中台将促进全球港口之间的互联互通和协同发展。随着数字技术的普及和应用，全球港口将形成一个紧密联系的数字网络，实现数据的实时共享和业务的协同运作。发展的核心驱动力。数字中台是一种将企业内外部数据进行整合、治理和共享，为业务应用提供统一数据服务的平台，它通过构建数据采集、存储、处理、分析和应用的全流程体系，打破数据孤岛，实现数据的互联互通和价值

最大化。简单来说，数字中台就像是港口的“智慧大脑”，能够对港口运营过程中产生的海量数据进行集中管理和深度分析，为港口的各项业务决策提供精准、及时的数据支持。从原理上看，数字中台主要基于云计算、大数据提供了丰富的素材。通过数据仓库和数据湖的结合，数字中台能够满足港口不同层次、不同类型的数据需求，为港口的业务发展提供全方位的数据支持。未来展望：驶向智能港口的新征程展望未来，港口数字中台的发展前景一片互联互通，形成一个庞大的物联网生态系统。区块链技术在港口数字中台的应用也将逐渐成熟。区块链具有去中心化、不可篡改、可追溯等特点，能够有效解决港口数据共享和信任问题。在业务拓展方面，港口数字中台将推动港口与上下游产业的深度融合。通过与物流企业、贸易企业、金融机构等建立更紧密的合作关系，港口可以实现产业链的延伸和拓展，提供更多增值服务。从全球贸易视角来看，港口数字中台将促进全球港口之间的互联互通和协同发展。随着数字技术的普及和应用，全球港口将形成一个紧密联系的数字网络，实现数据的实时共享和业务的协同运作。发展的核心驱动力。数字中台是一种将企业内外部数据进行整合、治理和共享，为业务应用提供统一数据服务的平台，它通过构建数据采集、存储、处理、分析和应用的全流程体系，打破数据孤岛，实现数据的互联互通和价值

市场竞争力，进一步促进经济的全球化进程和贸易便利化，使得港口港航活动和物流业务能够更高效、更安全、更环保的运营。星环智慧港口解决方案星环智慧港口解决方案以云计算、大数据、人工智能及物联网等新一代信息技术对港口，这些设备的运作能够实现自主化、智能化操作，提高工作效率，保证港口运营安全流畅；数字化管理：数字化管理主要包括港口货物流向、堆场状态、装卸量、清关日报等数据的实时传输和管理，这些数据可以帮助港口管理者数据进行透彻感知、广泛互联和深度挖掘，实现港口各类资源无缝连接及各功能模块协调联动，通过打造综合物流枢纽港与航运透明供应链，实现智能、高效、安全、便捷、绿色发展的现代化港口形态。智能港口是指采用现代化、智能化技术装备和管理方法，对港口进行信息化、数字化、网络化等全方位协同管理的一种港口管理模式。智能港口的建设可以实现物流、信息流、资金流等多种流程的协同管理，使得港口的货物吞吐效率、安全性和环保性能得到有效提升。智能港口的建设一般包括以下几个方面：智能化设备：智能化设备是智能港口建设的基础，包括自动化起重机、AGV、堆垛机、码头灯光控制系统、智能打标系统、地面探测设备等

是港口数字化转型的趋势。智慧港口是指通过应用现代技术（例如人工智能、物联网、大数据等）来更好地管理和控制港口作业流程，提高港口运效率、降低成本、深化管理水平，从而进一步强港口的竞争力。智慧港口的应用拥挤等问题。智慧港口可以通过引入多套技术来优化整个港口产业链，包括提供智能决策辅助、数据可视化、自动化等等，减轻人工作业税率，提高供应链的可持续性和效率。此外，智慧港口系统还可以增强船舶的安全性，例如生态系统。智慧港口可以提高港口的运作效率，在运营、服务、安全等方面均有了质的飞跃，有效解决港口的诸多棘手问题。星环智慧港口解决方案星环智慧港口解决方案以云计算、大数据、人工智能及物联网等新一代信息技术对港口数据进行透彻感知、广泛互联和深度挖掘，实现港口各类资源无缝连接及各功能模块协调联动，通过打造综合物流枢纽港与航运透明供应链，实现智能、高效、安全、便捷、绿色发展的现代化港口形态。随着全球化的趋势不断加强，港口作为国际贸易的重要节点，也愈发重要。传统港口面临的瓶颈问题越来越明显，例如交通拥堵、效率低下、安全性差等，这迫使港口必须推进数字化转型来提升其运营效率和安全性。智慧港口

港区之间的协同与合作。通过建立统一的信息平台和数据标准，实现不同港口之间的数据共享和业务协同，形成智能化的港口群。在集装箱运输中，不同港口可以实现集装箱的全程跟踪和协同调度，提高集装箱的周转率和运输大脑”，为港口运营提供了智能决策支持，实现了精准化运营。通过大数据分析，港口能够对船舶到港时间、货物吞吐量、设备运行状态等海量数据进行深度挖掘，预测港口业务需求，优化资源配置。例如，在泊位分配，有效防范安全事故和违法犯罪行为。利用大数据分析和人工智能算法，对港口运营中的风险进行实时评估和预警，提前制定应对措施，降低风险损失。例如，在自然灾害预警方面，通过与气象、海洋等部门的数据共享，及时获取台风、海啸等自然灾害的信息，提前做好港口设施的防护和货物的转移工作；在供应链风险防范方面，通过对供应链数据的分析，及时发现供应链中的潜在风险，如供应商中断、物流延误等，采取相应的措施进行应对。在国际合作此时，智慧港口应运而生，宛如一颗璀璨的新星，照亮了航运业的未来之路。智慧港口，并非简单地在传统港口基础上增添科技元素，而是一场深度融合云计算、大数据、物联网、人工智能等前沿技术的全面变革。它让港口从

智慧港口是指在现代港口设施的基础上，充分运用5G通信技术、物联网技术、人工智能、大数据等，实现港口现有的设施智能化，其打破了传统港口的物理隔离，实现了港口供应链的所有资源和各活动参与方之间的无缝连接运输，通过远程控制技术提高作业效率和安全性。信息化与互联网：物联网通过传感器、RFID等技术实现对港口设备和货物的实时监控；云计算通过云计算技术实现数据的集中管理和分析，提供决策支持；移动互联网通过移动设备设备，实时监测并传输数据到中央平台，从而实现港口内物流运输的全程可控和信息共享。大数据分析技术：对海量数据进行深度挖掘和分析，从中提炼出有价值的信息和规律，为港口运营和决策提供科学依据。人工智能技术数据的融合，有效消除数据孤岛现象，打通现有信息系统的壁垒，并整合港区各类物联感知数据，实现港口的综合态势感知，从而优化物流服务，实现港口“船、车、人、物”闭环管理。决策支持：基于港口航道知识库，利用人工智能等技术对港口航道规划、建设、养护、管理、服务等过程进行决策分析，实现决策的科学、客观、规范、及时。和协调。也可以理解为充分借助物联网、传感网、云计算、决策分析优化等智慧技术手段进行透彻感知、广泛连接、深度计算港口供应链各核心的关键信息，实现港口供应链上的各种资源和各个参与方之间无缝连接与协调联动

作业监控与数据分析，促进部门间协同流程优化和系统间数据对接，打通海关与港口信息交互堵点。港口生产系统与海关业务系统通过单一窗口联通，进口转关单自动核销，运抵数据自动传输，实现24小时全天候即报即核即放港口集团搭建的集装箱生产管理系统，支持港口上下游客户线上预约报港和办理业务，实现单证无纸化，客户“足不出户”即可完成操作。这些数据还能以共享服务方式供业务和管理人员使用。另外，一些智慧港口运用视频孪生智慧港口的应用介绍在科技飞速发展的当下，智慧港口作为新一代港口运营模式，正以其独特的优势在全球范围内掀起变革浪潮。智慧港口依托云计算、大数据、物联网等先进技术，实现了港口运营的全面升级，以下将从多个风险的人工操作。通过智慧终端统一操控，配合场地内全覆盖的视频监控，作业流程变得有条不紊。同时，岸桥、场桥等港机设备安装车载终端，港口配备智能水表、电表，不仅能实时采集能耗数据，还设置了二维码铭牌，方便设备故障上报，记录设备全生命周期数据，实现生产“智联”，作业无感一场办。物流监管信息化监管方面，智慧港口通过数据交互实现物流无感一网通。以城陵矶港口集团为例，其数据室的三维可视化大数据屏幕，实时展示生产

作业监控与数据分析，促进部门间协同流程优化和系统间数据对接，打通海关与港口信息交互堵点。港口生产系统与海关业务系统通过单一窗口联通，进口转关单自动核销，运抵数据自动传输，实现24小时全天候即报即核即放港口集团搭建的集装箱生产管理系统，支持港口上下游客户线上预约报港和办理业务，实现单证无纸化，客户“足不出户”即可完成操作。这些数据还能以共享服务方式供业务和管理人员使用。另外，一些智慧港口运用视频孪生智慧港口的应用介绍在科技飞速发展的当下，智慧港口作为新一代港口运营模式，正以其独特的优势在全球范围内掀起变革浪潮。智慧港口依托云计算、大数据、物联网等先进技术，实现了港口运营的全面升级，以下将从多个风险的人工操作。通过智慧终端统一操控，配合场地内全覆盖的视频监控，作业流程变得有条不紊。同时，岸桥、场桥等港机设备安装车载终端，港口配备智能水表、电表，不仅能实时采集能耗数据，还设置了二维码铭牌，方便设备故障上报，记录设备全生命周期数据，实现生产“智联”，作业无感一场办。物流监管信息化监管方面，智慧港口通过数据交互实现物流无感一网通。以城陵矶港口集团为例，其数据室的三维可视化大数据屏幕，实时展示生产

作业监控与数据分析，促进部门间协同流程优化和系统间数据对接，打通海关与港口信息交互堵点。港口生产系统与海关业务系统通过单一窗口联通，进口转关单自动核销，运抵数据自动传输，实现24小时全天候即报即核即放港口集团搭建的集装箱生产管理系统，支持港口上下游客户线上预约报港和办理业务，实现单证无纸化，客户“足不出户”即可完成操作。这些数据还能以共享服务方式供业务和管理人员使用。另外，一些智慧港口运用视频孪生智慧港口的应用介绍在科技飞速发展的当下，智慧港口作为新一代港口运营模式，正以其独特的优势在全球范围内掀起变革浪潮。智慧港口依托云计算、大数据、物联网等先进技术，实现了港口运营的全面升级，以下将从多个风险的人工操作。通过智慧终端统一操控，配合场地内全覆盖的视频监控，作业流程变得有条不紊。同时，岸桥、场桥等港机设备安装车载终端，港口配备智能水表、电表，不仅能实时采集能耗数据，还设置了二维码铭牌，方便设备故障上报，记录设备全生命周期数据，实现生产“智联”，作业无感一场办。物流监管信息化监管方面，智慧港口通过数据交互实现物流无感一网通。以城陵矶港口集团为例，其数据室的三维可视化大数据屏幕，实时展示生产

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...