星环大数据基础平台 TDH
星环大数据开发工具 TDS
智能分析工具 Sophon
星环无涯金融大模型 Infinity
星环求索大数据分析大模型 SoLar
星环知识中台 Transwarp Knowledge Studio
星环数据云平台 TDC
分布式分析型数据库 ArgoDB
分布式交易型数据库 KunDB
星环国产ARM大数据一体机
星环X86超融合大数据一体机
星环智能识别一体机
Sophon MLOps
AI能力运营平台
统一纳管
/
统一运维
/
统一监控
/
统一应用
产品简介
Sophon MLOps是基于云原生架构构建的企业级AI能力运营平台，通过统一纳管、统一运维、统一应用、统一监控，在机器学习模型全生命周期中赋予企业客户易用、高效且安全可靠的AI能力运营服务，协助客户规模化管理日益增长的机器学习模型，提升模型使用效率，降低模型管理成本，控制模型生产环境风险。
Sophon MLOps能提供什么？
服务管理
涵盖监控、测试、审计和评估等模型服务的全方位管理——支持实时监控模型服务的运行状态；支持快速测试并验证服务可用性；支持独立查看各服务的全量监控指标；支持查看模型服务的性能评估报告，为模型迭代提供参考依据。
服务推理
提供可视化操作界面，流程化快速构建支持XGBoost、MLflflow、TensorFlow、PyTorch、Scikit-learn、Spark-MLlib等多种算法框架的模型服务推理图，并支持自定义配置包含多模型的复杂推理逻辑，大幅节省了模型配置成本。
服务发布
零代码部署模型服务，并支持自定义配置弹性伸缩策略、多版本流量分配策略，以及推理图各节点CPU、GPU、内存资源的按需分配，轻松实现模型服务多实例负载均衡、灰度发布和A/B测试。
模型管理
帮助用户统一纳管多源异构的模型文件，通过规范化的集成管理，实现统一部署大规模机器学习模型，大幅降低模型管理成本。
服务镜像
无缝衔接Sophon Base中的模型镜像，支持使用MLOps快速部署Base中训练好的机器学习模型；同时支持接入其他训练平台打包生成的模型容器镜像，并在MLOps中得到统一纳管、运维和监控。
为什么选择Sophon MLOps？
规模化的集成管理
统一纳管多源异构的模型文件，通过规范化集成管理，实现统一部署大规模机器学习模型，从而帮助用户大幅降低模型管理成本。
高效模型推理服务
使用图形交互的方式，帮助用户流程化快速构建服务推理图，并支持自定义配置包含多模型的复杂推理逻辑，及可视化快速部署模型应用，简化了模型配置和部署的复杂流程。
多维度监控及评估
实时监控模型服务的运行状态，帮助用户控制模型生产环境风险；通过多维度评估模型预测效果，为用户后续迭代优化模型提供重要参考。
隐私安全高度保障
提供多种用户权限控制，满足不同团队或用户角色对集群环境、资源及系统功能的限制需求；同时保障用户间私密数据的信息隔离；支持对模型部署环节的开启审批流程，控制服务资源利用。
应用案例
客户需求
○ 为满足监管合规要求，同时提升总分行模型的管理效率，需要对模型全生命周期进行统一管理
○ 行内积累了大量来自不同算法框架的AI模型，但大都分散在多个不同的业务部门
○ 各部门的模型部署缺乏统一的流程，且需要配置大量的参数，导致模型部署周期过长、配置成本增高且模型研发及应用敏捷性降低
解决方案
○ 使用Sophon MLOps搭建全行统一的AI模型管理平台，快速接入行内积累的多源异构模型
○ 利用MLOps搭建模型应用标准化流程，统一构建模型推理逻辑，并实现模型的快速部署
○ 在MLOps中持续监控所有已上线的模型服务，实现统一运维，并评估模型预测性能，确保模型预测的准确性且模型运行的稳定性
项目成果
成功解决了异构模型的管理问题，集成了全行来自多种算法框架的数百个机器学习模型
模型应用的平均部署时间及模型配置成本均大幅降低；
支持上百个模型预测服务同时在线，且单条数据实现毫秒级响应
打通了模型全生命周期流程，使模型的平均迭代周期显著缩短
星环科技,构建明日数据世界
