服务推理图

不了解从服务发布到服务管理的流程？请先阅读快速入门

新建服务推理图

点击顶部墨蓝色导航栏中的 服务推理 ，然后点击二层导航栏的 服务推理图，鼠标悬停在 新建 按钮上，点击弹出的下拉框中的 服务推理 按钮，就可以进入到新建服务推理图页面。

进入到服务推理图页面，画布如下图所示。页面右上角工具栏提供新增画布、撤销、复原、保存和发布按钮。左侧提供服务推理图模板、模型节点和逻辑节点。您可以拖拽节点，并将节点连接成服务推理图。注意：服务推理图必须与顶部灰色块（数据输入输出处）相连。

接下来将为您详细介绍服务推理图画布所具有的功能。

模板

页面左侧的模板部分提供了三个样例推理图，鼠标悬停时会呈现出该推理图的缩略图，如下图所示。

只需将样例推理图拖拽到画布上，即可以使用该样例推理图，如下图所示。您也可以基于该样例推理图进行修改，得到需要的推理图。

模型节点

页面左侧的模型节点部分包含了如下类型： Scikit-learn模型、PyTorch模型、TensorFlow模型、XGBoost模型、 MLflow模型、TensorFlow-GPU模型、PMML模型、Triton模型、LightGBM模型。模型节点用于引入需要发布并上线的模型。
您可以根据需要拖拽左侧模型节点到画布上。进一步，点击该模型，右侧将浮出 参数设置 栏，如下图所示。
参数设置部分展示了名称、描述和模型路径信息，其中只有模型路径支持修改。您可以根据需要在“模型路径”中选择模型（模型路径中的选项均来自于模型管理列表）。

模型节点当前可支持的对应版本及其保存方式，如下表所示。
若平台内置节点无法满足使用需求，可上传自定义镜像并使用。

表 2. 模型节点可支持版本及保存方式
模型节点	框架版本	模型保存方式
lightgbm	3.3.2	lightgbm.save_model
mlflow	1.17.0	无
pypmml	0.9.12	sklearn2pmml
pytorch	1.8.1	torch.jit.script.save
scikit_learn	0.22.2	joblib.dump
scikit_learn	1.0.1	joblib.dump
tensorflow-gpu	2.3	tf.keras.models.Sequential.save
tensorflow-cpu	2.4.1	tf.keras.models.Sequential.save
xgboost	1.4.2	xgboost.save_model
triton	21.06	无

逻辑节点

页面左侧的逻辑节点有三个，分别是：数据处理节点、组合器节点和路由节点。节点的连接需要满足如下要求：数据处理节点在顶部（如果使用到），组合器节点和路由节点各自下方至少有两个模型。

数据处理节点

数据处理节点的作用是对模型进行数据输入处理和数据输出处理。
您可以根据需要拖拽左侧 数据处理节点 到画布上。进一步，点击该节点，右侧将浮出“参数设置”栏，如下图所示。

参数设置部分展示了数据处理节点的名称和描述。此外，您可以根据需要勾选数据预处理和结果处理。如果被勾选，参数设置部分会显示出相应的节点代码，并提供编辑功能。点击代码框右上角的 编辑 图标，即可开始代码编辑，代码编辑框如下图所示。编辑完成后，点击蓝色 确定 按钮即可。
组合器节点

组合器节点的作用是把多个模型组合起来使用，并整合多个模型的输出。
您可以根据需要拖拽左侧 组合器节点 到画布上。进一步，点击该模型，右侧将浮出“参数设置”栏，如下图所示。

参数设置部分展示了组合器节点的名称、描述和组合器代码。组合器代码支持编辑，点击代码框右上角的 编辑 图标，即可开始代码编辑。
路由节点

路由节点的作用是从多个模型中选取合适的来使用。
您可以根据需要拖拽左侧 路由节点 到画布上。进一步，点击该模型，右侧将浮出“参数设置”栏，如下图所示。

参数设置部分展示了路由节点的名称、描述和路由代码。路由代码支持编辑，点击代码框右上角的 编辑 图标，即可开始代码编辑。

数据流向说明

点击页面右上角 流向说明 即可查看数据流向示例，如下图所示。

顶部灰色块代表数据输入与输出处。输入数据首先流经“数据处理节点”，根据“预处理节点代码”完成数据预处理。
接下来，数据一式两份流向组合器节点下的Scikit-learn模型和路由节点。流向路由节点的数据会根据路由代码进行分发，部分发到左侧Scikit-learn模型，其余发到右侧Scikit-learn模型。
数据在各个模型处完成预测后，输出数据在“组合器节点”处进行组合，然后流经“数据处理节点”根据“结果处理”代码进行后处理，最终流向顶部灰色块输出。

便捷工具栏与快捷键

页面右上角提供了便捷工具栏，包含新增画布、撤销、复原、保存和发布按钮; 页面右下角提供了缩放和全屏按钮。

页面提供快捷键，如下表所示。

表 3. 快捷键
功能	快捷键
删除	Delete
复制	Ctrl+C
粘贴	Ctrl+V
剪切	Ctrl+X
撤销	Ctrl+Z
复原	Ctrl+Shift+Z
保存	Alt+S
部署	Alt+R

搭建服务推理图

搭建服务推理图主要通过拖拽和连线操作实现。
比如：新建一个空白画布，拖拽左侧 数据处理节点 到画布中，并把该节点和顶部连接。然后，拖拽 Scikit-learn模型 到画布中，点击该节点，在 模型路径 中选择已经导入到Sophon MLOps的kmeans_model模型，这样就将导入的模型使用起来了。将该节点与数据处理节点相连，得到完整的服务推理图。

点击右上角最右侧的 部署 按钮（图标是纸飞机），即可进入发布页面。

您也可以点击右上角的 保存 按钮，然后回到服务推理图列表进行发布。

部署服务推理图

在前一步搭建服务推理图完成后，您可以点击发布按钮直接进入部署页面。
您也可以回到服务推理图列表，选定任一服务推理图，点击 部署 按钮

进入发布页面后，请根据页面提示填写发布信息（带有 * 的是必填项），完成后，点击 部署 按钮即可。发布信息包含服务信息、资源配置和基本信息，接下来将为您详细介绍。

服务信息

服务发布分两种情况:
如果已有服务需要迭代，那么请将新版本发布到已有服务（注意：相同类型的版本才可以发布到同一服务）;
如果是全新服务需要上线，那么请将服务推理图发布到新的服务。

选择已有服务
如果发布到已有服务，则在服务类型中点击 选择已有服务。接下来，在 服务名称 中选择需要迭代的已有服务。
Sophon MLOps支持服务多版本，并且支持版本的独立发布、灰度发布和冠军挑战者。
1. 独立发布指只有一个选中的服务版本对外提供API服务；
2. 灰度发布指同时上线多个版本，对每个版本按照设定的流量比例运行随机分配的数据，API服务将按指定的比例随机分配流量至多个（至少两个，流量之和100%）模型服务版本；
3. 冠军挑战者是指服务内所有版本都将对全量的API输入数据进行预测，但最终仅输出冠军版本的预测结果。通过这种方式可横向对比多版本之间的性能差异。
【上线策略-独立发布】

如果选择 独立发布 作为上线策略，接下来请在 上线版本 中选择希望服务运行的版本：

【上线策略-灰度发布】

如果选择 灰度发布 作为上线策略，接下来请在 上线版本 中填写各版本的流量（总流量需要是100%）。

由于是发布到已有服务， 发布集群 自动填写该服务所在集群，且不可编辑。

【上线策略-冠军挑战者】

如果选择 灰度发布 作为上线策略，接下来请在 上线版本 中选择冠军版本和挑战者版本。
其中，服务部署后，冠军版本将获取全量的API输入数据（100%），并做将预测作为API的输出结果返回给调用方；挑战者版本同样获取全量的API输入数据（100%），但其预测结果仅做存储记录，不用于实际的API输出。
冠军挑战者的目的是在初始部署模型或模型迭代后，不确定多个模型孰优孰劣时，可先使用其一作为冠军版本，其他版本作为挑战者。后续通过模型评估功能，确保输入的预测数据相同的前提下，可对冠军版本与挑战者版本的模型预测性能进行全面对比，以确定使用哪一更优模型。

在v1.2系列版本中，仅支持设定一个冠军版本和一个挑战者版本。

至此，选择已有服务的服务信息填写完成。
新建服务

如果发布到已有服务，则在服务类型中点击 新建服务。接下来，填写 服务名称 ，并且选择 发布集群。

异步调用

开启后调用API将以异步模式处理请求，对于预测耗时较长的模型服务，计算完成后延迟反馈预测结果。
在异步模式下，请求将被接受后立即返回响应，而实际的处理过程将在后台进行。建议在以下情况下开启异步服务：

需要处理大量并发请求
可以容忍一定的处理延迟
系统具备足够的资源来支持并发处理

请注意，开启异步服务可能会对系统的实时性产生一定影响，因此请根据实际需求和系统资源进行选择

异步调用时，请在调用示例的“headers”中，增加参数：ASYNC:true

模型解释

模型解释将量化每个特征参数对最终预测结果的影响（开启后可在调用记录中查看），若服务发布并上上线时开启了模型解释功能，则支持调用模型解释API接口，以可视化图表方式查看模型解释指标结果。

开启模型解释功能后，需要首先选择模型文件对应的训练数据集（上传至NFS内）的存储路径，然后选择模型解释算法类型。

1. 当前版本的可解释算法仅支持“Kernel SHAP”；
2. 当前版本仅支持如下算法类型——SVM/SVC、KNN、逻辑回归、MultinomialNB、XGBoost；
3. 模型解释功能仅支持单一模型节点的服务推理图；
4. 模型解释功能仅支持分类模型；
5. 模型解释功能仅支持独立发布，暂不支持服务多版本灰度发布。
6. 模型解释功能仅支持通过推理图发布的模型，暂不支持镜像类型的模型。

资源配置

为保障服务平稳运行，Sophon MLOps支持伸缩策略。

伸缩策略-固定策略

您可以选择使用 固定策略 ，并根据需要填写所需固定实例的数量。若填写1，则表示实例数量始终是1个。

伸缩策略-动态策略

您也可以选择使用 动态策略 ，根据CPU或内存的利用率，对实例数量进行动态调整。从而实现实例数随着利用率变化而调整。

部署模型服务应用时， Sophon MLOps支持按单个实例配置资源和按节点配置资源。

按单个实例配置资源

如果选择按单个实例占用资源进行配置，系统将根据推理图包含的节点信息，自动求和计算出所需的CPU和内存大小。如果您对CPU个数和内存大小有特别要求，您也可以手动进行修改。

按节点配置资源

您也可以选择按节点配置资源，拨动 按节点配置资源 开关，即可切换模式。
系统自动读取内置的逻辑节点占用资源信息，以及用户录入的模型占用资源信息，如下图所示。您也可以根据需要自行调节。

节点占用的资源总和与单个实例占用资源对应，系统会根据您的修改，自动更新数据。比如图中数据处理节点占用0.5个CPU， Scikit-learn模型占用1个CPU，相应的单个实例占用1.5个CPU。数据处理节点占用500MB内存， Scikit-learn模型占用500MB内存，相应的单个实例占用1000MB内存。

如果TCOS版本≥3.0，则此处支持选择GPU，并且支持设置GPU独占和分享。

GPU选择中，用户可以选择多个GPU组从而确定GPU调度范围。只有被选中的GPU组中在所选集群节点上的GPU可以被调度。
配置GPU资源时，如果选择GPU分享，则需要填写需要的GPU内存大小，以及GPU算力大小，分享模式下GPU算力不能超过100%；如果选择GPU独占，则只需要填写需要的GPU个数。

如果TCOS版本≥3.3.1，则可以无限额共享GPU。

用户可以不设置限额分享GPU，即选择“分享”模式，并开启“无限额共享”，无需填写GPU算力和GPU显存大小。

基本信息

基本信息部分请填写版本名称和描述。

填写完成后，点击页面右下角蓝色 发布并上线 按钮，即可完成发布过程。

编辑服务推理图

编辑服务推理图结构

进入服务推理图列表页，点击推理图名称，可以进入该服务推理图画布。

点击服务推理图名称后，您可以看到该服务推理图画布如下图所示。编辑操作与新建服务推理图相同，您可以参照新建服务推理图部分进行操作。

编辑服务推理图名称

进入服务推理图列表页面，鼠标悬停在任一服务推理图的 更多 按钮上，然后点击弹出的下拉框中的 编辑 按钮，如下图所示。

完成以上操作后，您将看到如下图所示的编辑框。您可以对推理图名称和描述进行修改，修改完成后点击 确认 即可。

复制服务推理图

进入服务推理图列表页面，鼠标悬停在任一服务推理图的 更多 按钮上，然后点击弹出的下拉框中的 复制 按钮，即可得到该服务推理图的副本，如下图所示。

删除服务推理图

进入服务推理图列表页面，点击任一服务推理图的 删除 按钮，Nodes 即可删除该服务推理图，如下图所示。

Sophon MLOps也支持同时删除多个服务推理图。
进入服务推理图列表页面，通过左侧勾选框选择需要删除的服务推理图，然后点击列表顶部的删除按钮（垃圾桶图标）即可，如下图所示。

节点管理

点击顶部墨蓝色导航栏中的 服务推理 ，然后点击二层导航栏的 节点管理，即可进入节点管理列表页面。
节点管理的对象是服务推理图中，左侧列表中的可用节点。平台内置的节点包括六个模型节点和三个逻辑节点，如下图所示。

由于平台内提供的内置节点有限，为满足客户多种场景下的业务需求，v1.2版本支持用户使用任一类型的模型文件，皆可通过自动化构建模型节点镜像，生成对应的运行时环境，并基于此实现部署应用。

节点列表

在节点列表内，支持查看节点名称、状态、来源、创建时间、描述等信息。下面将对列表字段逐一进行介绍——

表 4. 列表字段信息
列表字段	字段释义
名称	表示节点名称，新建节点时填写，可在详情页面修改。
状态	表示当前节点的可用状态，包括以下8种状态—— 1、待配置：表示任务创建完成，但还未完成节点参数配置。 2、配置中：表示节点参数配置完成，后台开始构建初始镜像。 3、配置失败：表示配置过程中出错，可通过查看日志功能排查原因。 4、待验证:表示节点参数配置完成，镜像构建成功后触发，可进行下一步开始验证。 5、验证中：表示启动部署实例，并开始测试模型节点是否可正常使用。 6、上架中：表示验证通过，模型节点正在固化镜像并上架至模型节点列表中。 7、上架失败：表示上架过程中出错，可通过查看日志功能排查具体原因。 8、可用：表示上架成功，模型节点可用于推理图。
来源	表示模型节点的来源方式，包括以下3种来源—— 1、平台内置：表示平台默认内置的节点。 2、自定义：表示用户通过页面自定义创建的模型节点。 3、与我分享：表示由其他用户分享给我的节点。
创建时间	表示节点的创建时间，以新建节点时作为配置输入。
描述	表示节点描述信息，新建节点时填写，可在详情页面修改。

关于节点状态的流转逻辑，详见下图所示。

另一方面，对于节点还支持新建、删除/批量删除、移动/批量移动、搜索/筛选/排序/刷新等基础操作，以及查看详情、停止、验证节点、查看日志等配置操作。下面将对操作功能逐一进行介绍——

表 5. 列表可用操作
可用操作	说明
新建	支持新建自定义模型节点。
删除/批量删除	支持删除单个节点或批量删除多个节点。
搜索/筛选/排序/刷新	1、支持对“节点名称”字段进行搜索查询； 2、支持对“状态”、“来源”和“类别”字段进行筛选； 3、支持对“创建时间”字段进行排序； 4、支持对列表状态进行手动刷新。
查看详情	支持查看已创建节点的配置参数，点击进入【节点配置】页面。
停止	支持停止“配置中”、“验证中”和“上架中”三种状态的节点，中止任务并释放资源。停止后的任务将回退至前一状态（分别为待配置、待验证、验证中）。【备注】仅当节点状态为上述三种时，才可以使用 [停止] 功能。
验证节点	支持验证模型节点是否可用。点击进入【验证节点】页面。【备注】当节点状态为“待配置”、“配置中”、“配置失败”和“可用”时，无法使用 [验证] 功能。
查看日志	支持查看模型节点固化镜像，以及上架至节点列表过程中的日志信息，点击【节点日志】页面。【备注】当节点状态为“待配置”和“可用”时，无法使用 [日志] 功能。

新建节点

点击 新建 按钮，弹窗内填写节点名称及描述信息，点击 确定 按钮进入【节点配置】的详情页面。

新建后的节点，将作为新增记录显示在列表中，以供随时查看。

配置节点

进入【节点配置】详情页面，支持配置模型节点的参数详情，包括选择基础镜像、安装依赖、获取推理逻辑、配置可见权限即其他参数等。

基础镜像

基础镜像 支持配置并获取模型节点的基础镜像（或自定义加载路径）。

在配置镜像来源时，选项分为“内置镜像”和“自定义镜像”两类，默认选中“内置模型”。其中，“内置镜像”的来源对应平台提供的镜像仓库内置的基础推理镜像。

另一方面，“自定义镜像”的来源可由用户以URL形式，自行指定用于构架构建推理节点的基础镜像的存储路径。同时，点击校验后即可使用。

【备注】制作基础镜像的流程如下——

需要制作基础镜像，按照平台架构(CPU、GPU) / python版本制作不同的镜像
将压缩包中的基础镜像内容复制到特定的目录
在目录中修改Dockerfile FROM内容，指定特定平台架构/python版本
使用命令 docker build -t ** -f Dockerfile . 构建基础镜像

其中，基础镜像包含的内容为——

base 定义模型的加载
utils 定义一些通用方法
requirements 定义基础镜像需要导入的py包
wrapper.py 替换seldon-core的原始方法

安装依赖

安装依赖 支持配置并安装镜像所依赖的软件包。

需配置的依赖内容分为DockerFile和依赖内容（Requirements）两个部分。

DockerFile

平台内置了一个基础的DockerFile文件以供使用，同时在按需调试修改。
关于DockerFile文件的说明如下——

dockerfile 说明

FROM XXX  #使用制作的基础镜像包(需要修改)


COPY . /app     #设置work目录，不需要修改
WORKDIR /app


 #apt-get 更新， py源 可替换，其他不需要修改

RUN sed -i s@/deb.debian.org/@/mirrors.aliyun.com/@g /etc/apt/sources.list \
    && apt-get clean \
    && apt-get update \
    && apt-get install wget -y 

#根据requirements打包py项目， py源 可替换，其他不需要修改
RUN pip3 install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com --no-cache-dir -r ./requirements.txt 

EXPOSE 5000

# Define environment variable   定义seldon使用的环境变量，不需要修改
ENV MODEL_NAME Model
ENV API_TYPE REST
ENV SERVICE_TYPE MODEL
ENV PERSISTENCE 0


#seldon启动命令，不需要修改
CMD exec seldon-core-microservice $MODEL_NAME --service-type $SERVICE_TYPE --persistence $PERSISTENCE

依赖内容（Requirements）

当前版本支持安装的依赖内容包括Python和APT，安装依赖指向的源路径，可联系管理员在后台【管理中心-Notebook管理-软件包仓库地址】中配置。

关于Requirements文件的说明如下——

requirements说明

requirements.txt主要是用于打包镜像时，指定安装特定版本的py包，以等号“==”区分，左侧为py包，右侧为版本号

例如：

tensorflow-gpu==2.2.0 —— 指定安装版本为2.2.0的tensorflow-gpu

也可以不指定版本号直接使用
例如：

pandas

推理逻辑

推理逻辑 支持配置运行时镜像的推理逻辑，通过model.py代码文件获取。

当前版本仅支持通过选择 存储在NFS路径下，包含model.py文件及其他python代码的文件夹，选择文件夹对象后，平台将自动识别其中的 model.py 文件并在页面中显示其代码详情。

由于不支持直接在本页面执行debug操作，因此仅作引用，不可直接修改代码。建议前往Notebook中更新。
若代码文件的内容有所更新，可点击 [加载并更新] 按钮，刷新接口获取最新的model.py代码内容。

关于model.py的说明如下——

model.py说明

Model.py需要按照特定的格式三个步骤进行定义： 下列备注“（不需要修改）”可直接引用 +

* 列出引用的python包
* 定义model类名
* Model类中定义预测方法

第一步：列出引用的python包

#列出引用的python包(需要修改)

import numpy as np
import py4j
import pypmml

#增加python自定义包的路径（不需要修改）

EXTRA_PACKAGE_PATH = os.environ.get("EXTRA_PACKAGE_PATH", "/app")

sys.path.append(os.path.abspath(EXTRA_PACKAGE_PATH))

# 加上seldon-base-images中定义好的BaseModel和utils.（不需要修改）

import logging
import os
import sys

from utils import utils

from base.base_model import BaseModel

第二步：定义model类名:

在init方法中定义 读取model文件 和 加载文件 两部分逻辑
以PMML model为例：

#定义model类名 类名以Model 开头，继承BaseModel （不需要修改）
class Model(BaseModel):
def __init__(self, pip_ini=[], packages=[]):
  　 # 读取model 文件（不需要修改）
        super(Model, self).__init__(pip_ini, packages)
　　　　＃　加载文件按照模型设置不同的模型加载方式(需要修改）
        self._model = pypmml.Model.load(self._model_path)

第三步：Model类中定义预测方法

# 预测方法名为：predict_raw，并定义一个dict输入参数（不需要修改）
#  inference_request 的样式请参考 输入数据
def predict_raw(self, inference_request: dict):
＃使用父类定义好的方法获取 inputs.data（不需要修改）
        X = self.get_input(inference_request)
＃使用父类定义好的方法获取 parameters（不需要修改）
        meta = self.get_parameters(inference_request)
        logging.info(X)
        #下列两行需要按照不同的模型进行设置（需要修改）
        input = torch.tensor(X, dtype=float)
        predict = self._model.predict(data)
        #使用父类定义好的方法构建输出,输出样式参考3.3输出数据
        return self.genOutput(predict)

可见权限

可见权限 支持配置自定义节点的可见范围，包括可见用户/用户组、匹配的模型标签等。

可见权限的配置支持“可见成员权限”和“可用模型权限”两大部分。

可见成员权限

支持配置哪些用户（除创建人）可以看到并使用该模型节点。

添加可见成员后，仅当节点状态为“可用”时，列表内的成员将在根目录下查看到他人共享的模型节点，同时来源字段标记为“与我共享”。
被分享的可见用户仅具备“查看”和“使用”的权限，不具备“编辑”（包括验证节点、查看日志）和“删除”的权限。

可用模型权限

支持根据模型仓库内的已有标签进行筛选匹配，进而配置本节点可以使用具备哪些标签的模型文件。

应用方式——在服务推理图中，选择指定节点后，将根据上述标签筛选匹配可选模型的范围。

可选标签项的来源是模型仓库内已完成创建的标签。
筛选匹配时，最终获得的可选模型范围是——不同key之间取交集，同一个key之间取并集。

验证节点

当节点配置完成后，返回列表，平台将自动构建初始镜像（此时节点状态为“配置中”）。
待构建成功后（状态“待验证”）可在【任务管理】页面内，点击列表内的 [验证] 按钮，进入【验证节点】页面。支持通过部署服务实例，来验证节点是否满足使用要求，包括选择模型、验证节点（服务测试）、查看日志、修改代码等。

选择模型

选择模型 支持添加模型并部署为服务实例。

选择模型的对象为模型仓库中，满足“可用模型权限”（见前文所述）的模型文件。
测试用的模型文件，将接入与前序步骤中构建完成的初始镜像，部署为API服务实例。
部署时需要配置基础的可用资源，包括CPU、内存、GPU等。其中，是否可配置GPU资源，取决于页面左侧基本参数中的“是否支持GPU”。
点击 [部署实例] 按钮，实例状态进入“上线中”，后台开始构建容器镜像，并部署为服务实例。此时可在页面底部查看部署过程的容器日志。

验证节点（服务测试）

验证节点 支持通过服务测试功能，验证节点是否可用。

1、实例状态：表示服务实例的运行状态。默认为“待上线”，当点击 [部署实例] 按钮后，进入“上线中”。
2、服务下线：点击 [下线] 按钮，支持下线已部署的服务实例，并重新选择模型或修改资源配置后，再次部署模型。
3、参数代码：表示模型服务的测试代码，可根据模型输入参数传入对应的测试代码。参考示例如下——

输入数据

{
"parameters": {"IS_PROBA": "true"}, //自定义模型的参数
"inputs": [{
"name": "data",
"data": [[1, 2, 3, 4]], //模型需要做预测的数据
"datatype": "FP32",
"shape": [1,4]
}]
}

4、服务测试：输入参数代码后，点击 [测试] 按钮，调用已部署实例的API接口，测试节点是否可用。
5、测试结果：显示最近一次调用的测试结果。参考示例如下——

输出结果

{
 "outputs": [{
   "data": [0], //模型预测后的返回结果
   "datatype": "INT64",
   "name": "data",
   "parameters": {"PREDICTOR_ID": "graph-1658110755121139712" },
   "shape": [1 ]
  }]
}

6、查看记录：查看实例服务的所有调用记录。