大模型实训管理平台

数据与人工智能相关专业，集教学与手动实验为一体的一站式综合实训平台。平台集在线理论教学与实践操作为一体，配套有星环大学团队打造的丰富课件教学资源，帮助高校快速完成大数据人工智能实验室建设与教学资源储备的双重目标，确保相关专业筹建及教学工作的顺利开展。TranswarpUniversityOnline（简称TUO）是星环信息科技（上海）股份有限公司（简称星环科技）基于自身在企业级大数据与人工智能基础平台的优势基础上，倾心研发的一款面向高校大

工智能相关专业，集教学与手动实验为一体的一站式综合实训平台。平台集在线理论教学与实践操作为一体，配套有星环大学团队打造的丰富课件教学资源，帮助高校快速完成大数据人工智能实验室建设与教学资源储备的双重目标，确保相关专业筹建及教学工作的顺利开展。TranswarpClassOnline（简称TCO）是星环信息科技（上海）股份有限公司（简称星环科技）基于自身领先的企业级大数据与人工智能基础平台的优势基础，倾心研发的一款面向高校大数据与人

，充分发挥大模型的价值，提升业务效率和创新能力。大模型管理平台核心功能模型训练管理：协助数据准备与预处理工作，如清洗、标注和划分数据等；支持配置训练参数，如学习率、批次大小等，并监控训练过程中的指标，以便及时大模型管理平台是一种用于管理大规模机器学习模型全生命周期的工具和系统，涵盖模型的训练、存储、部署、监控、评估、优化以及安全管理等各个环节，旨在帮助企业和研究机构更高效地开发、管理和应用大模型。安全与权限管理：通过设置用户权限，限制不同用户对模型的访问、修改和部署权限，对模型数据加密处理，防止数据泄露和恶意攻击，保障模型资产安全。大模型管理平台应用领域医疗保健：用于医学影像分析、疾病诊断预测的效率和质量。大模型管理平台发展趋势智能化管理：平台更加智能化，能自动分析模型训练和运行数据，提供智能优化建议，如自动调整训练参数、根据应用场景选择最佳模型版本部署。融合多种技术：与边缘计算、区块链等技术融合。在边缘计算方面，更好地管理部署在边缘设备上的模型，实现低延迟、高实时性应用；区块链技术可增强模型管理的安全性和数据可信度。云原生支持：更紧密地与云原生技术结合，提供更好的云服务集成，如自动弹性伸缩、资源优化配置等功能，助企业更高效地利用云计算资源管理和运行大模型。

，充分发挥大模型的价值，提升业务效率和创新能力。大模型管理平台核心功能模型训练管理：协助数据准备与预处理工作，如清洗、标注和划分数据等；支持配置训练参数，如学习率、批次大小等，并监控训练过程中的指标，以便及时大模型管理平台是一种用于管理大规模机器学习模型全生命周期的工具和系统，涵盖模型的训练、存储、部署、监控、评估、优化以及安全管理等各个环节，旨在帮助企业和研究机构更高效地开发、管理和应用大模型。安全与权限管理：通过设置用户权限，限制不同用户对模型的访问、修改和部署权限，对模型数据加密处理，防止数据泄露和恶意攻击，保障模型资产安全。大模型管理平台应用领域医疗保健：用于医学影像分析、疾病诊断预测的效率和质量。大模型管理平台发展趋势智能化管理：平台更加智能化，能自动分析模型训练和运行数据，提供智能优化建议，如自动调整训练参数、根据应用场景选择最佳模型版本部署。融合多种技术：与边缘计算、区块链等技术融合。在边缘计算方面，更好地管理部署在边缘设备上的模型，实现低延迟、高实时性应用；区块链技术可增强模型管理的安全性和数据可信度。云原生支持：更紧密地与云原生技术结合，提供更好的云服务集成，如自动弹性伸缩、资源优化配置等功能，助企业更高效地利用云计算资源管理和运行大模型。

解锁大模型开发管理平台：AI时代的“魔法工坊”大模型开发管理平台介绍概念：大模型开发管理平台是一种集成化的工具系统，旨在辅助开发者高效地进行大模型的开发、训练、优化、部署以及后续的管理维护工作。它不同工具和平台间切换的时间，自动化的流程和丰富的模板，进一步缩短开发周期。保障模型质量：完善的模型评估和优化机制，以及对算力资源的合理调配，有助于训练出高性能、高稳定性的大模型。应用场景智能客服：利用大整合了算力资源、数据管理、模型训练框架、评估工具等一系列要素，为大模型从构思到实际应用提供全流程支持。功能特点多样化模型支持：集成业界主流开源大模型，开发者无需从头构建模型，可选择合适的预训练模型进行用于大语言模型的提示词；支持检索增强生成，智能体开发等，助力构建更智能的大模型应用。模型运维管理：对大模型进行全生命周期管理，包括模型版本控制、性能监测、故障诊断与修复等，确保模型在生产环境中的稳定运行和持续优化。优势降低技术门槛：即使是缺乏深厚机器学习专业知识的人员，也能借助平台低代码甚至无代码的操作，参与到大模型开发应用中，加速企业数字化转型和创新。提升开发效率：一站式的工具和功能，减少了在

解锁大模型开发管理平台：AI时代的“魔法工坊”大模型开发管理平台介绍概念：大模型开发管理平台是一种集成化的工具系统，旨在辅助开发者高效地进行大模型的开发、训练、优化、部署以及后续的管理维护工作。它不同工具和平台间切换的时间，自动化的流程和丰富的模板，进一步缩短开发周期。保障模型质量：完善的模型评估和优化机制，以及对算力资源的合理调配，有助于训练出高性能、高稳定性的大模型。应用场景智能客服：利用大整合了算力资源、数据管理、模型训练框架、评估工具等一系列要素，为大模型从构思到实际应用提供全流程支持。功能特点多样化模型支持：集成业界主流开源大模型，开发者无需从头构建模型，可选择合适的预训练模型进行用于大语言模型的提示词；支持检索增强生成，智能体开发等，助力构建更智能的大模型应用。模型运维管理：对大模型进行全生命周期管理，包括模型版本控制、性能监测、故障诊断与修复等，确保模型在生产环境中的稳定运行和持续优化。优势降低技术门槛：即使是缺乏深厚机器学习专业知识的人员，也能借助平台低代码甚至无代码的操作，参与到大模型开发应用中，加速企业数字化转型和创新。提升开发效率：一站式的工具和功能，减少了在

大模型预训练是大模型训练过程中的关键环节。让模型学习到广泛的语言知识、语义理解能力和各种模式，以便在后续的微调或直接应用中能够更好地适应各种具体任务，如文本生成、问答、翻译等。关键步骤数据收集与预处理收集海量数据：从多种渠道收集大量的文本数据，来源涵盖互联网文章、书籍、新闻报道、学术论文、社交媒体等，以覆盖各种领域和主题，为模型提供丰富的语义信息。例如训练一个通用语言大模型，可能会收集数十亿甚至训练提供良好的基础。设计与优化模型结构：加入注意力机制的优化，如多查询注意力机制、快速注意力机制，以及位置嵌入策略，以加速训练并提高模型性能。预训练过程无监督学习：采用无监督学习的方式，让模型自动从大规模数据中发现模式和规律。常见的预训练任务包括语言模型任务，即预测文本序列中的下一个单词或字符；以及掩码语言模型任务，随机掩盖输入文本中的一些单词或字符，让模型预测这些被掩盖的内容。数据源采样与平衡：合理调整不同数据集的采样比例，平衡模型对大规模和小规模数据集的依赖，使模型能够更全面地学习到各种类型的数据特征。模型评估与优化效果评测指标：使用困惑度、比特每字符等指标来评估模型在语言生成任务中的表现

大模型预训练是大模型训练过程中的关键环节。让模型学习到广泛的语言知识、语义理解能力和各种模式，以便在后续的微调或直接应用中能够更好地适应各种具体任务，如文本生成、问答、翻译等。关键步骤数据收集与预处理收集海量数据：从多种渠道收集大量的文本数据，来源涵盖互联网文章、书籍、新闻报道、学术论文、社交媒体等，以覆盖各种领域和主题，为模型提供丰富的语义信息。例如训练一个通用语言大模型，可能会收集数十亿甚至训练提供良好的基础。设计与优化模型结构：加入注意力机制的优化，如多查询注意力机制、快速注意力机制，以及位置嵌入策略，以加速训练并提高模型性能。预训练过程无监督学习：采用无监督学习的方式，让模型自动从大规模数据中发现模式和规律。常见的预训练任务包括语言模型任务，即预测文本序列中的下一个单词或字符；以及掩码语言模型任务，随机掩盖输入文本中的一些单词或字符，让模型预测这些被掩盖的内容。数据源采样与平衡：合理调整不同数据集的采样比例，平衡模型对大规模和小规模数据集的依赖，使模型能够更全面地学习到各种类型的数据特征。模型评估与优化效果评测指标：使用困惑度、比特每字符等指标来评估模型在语言生成任务中的表现

模型推理平台在人工智能技术飞速发展的今天，模型推理平台作为连接训练好的AI模型与实际应用的桥梁，正发挥着越来越重要的作用。这类平台为各类AI模型提供了运行环境，使得训练好的模型能够有效、稳定地。一个典型的模型推理平台通常包含模型管理、请求调度、资源分配、性能监控等关键模块，共同构成了完整的AI服务基础设施。从技术架构来看，现代模型推理平台往往采用微服务架构设计。这种设计将不同功能解耦为独立服务。展望未来，模型推理平台将继续向效率更高、更智能的方向发展。自动扩缩容、智能资源调度、模型动态更新等能力将进一步完善。同时，随着大语言模型的兴起，支持这类超大模型的推理平台也成为了新的技术前沿。可以预见，模型推理平台作为AI产业化落地的关键环节，将在人工智能生态系统中扮演越来越重要的角色。处理实际任务，将人工智能从实验室带入现实世界。模型推理平台的核心功能是加载和执行已经训练好的机器学习模型。与模型训练阶段不同，推理阶段不再需要调整模型参数，而是专注于使用固定模型对新输入数据进行预测或分类服务，例如模型加载服务、预处理服务、推理引擎和后处理服务等。这种架构带来了良好的扩展性和灵活性，平台可以根据负载动态调整资源分配，在保证服务质量的同时提高资源利用率。性能优化是模型推理平台面临的主要挑战

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...