美林数据
ABOUT US
美林数据技术股份有限公司(简称:美林数据,NEEQ:831546)是国内知名的数据治理和数据分析服务提供商。

美林新闻/NEWS

首页 美林数据 行业资讯

Tempo人工智能平台模型部署与集成方法详解

2023-12-20 20:52:00

模型开发完毕后需要对模型存在多种部署应用方式,需要根据现场环境或客户需求选择合适的模型部署方式。在Tempo人工智能平台支持多种模型部署方式,包括异步服务、同步服务、流服务、灰度服务、调度任务、调度编排、离线调用,以满足工程化的应用。

一、定时调度

最常见的算法模型部署方式是定时调度,让模型以固定的时间周期性执行。
调度任务是基于已发布的异步服务构建调度任务,通过调度任务的形式来定期自动执行指定的流程。调度任务是针对于单个任务的使用场景。
调度编排可以将Tempo人工智能平台中发布成功的异步服务进行统一的调度管理。支持复杂业务关系调度配置、综合管理任务执行计划、任务历史数据的追补等功能。主要适用于多个任务的串连、并连、混编等场景。

详情查阅:产品帮助文档

二、在线事件触发

在线事件触发是通过在线事件以API接口的方式调用模型。
异步服务是通过将已发布的流程以REST服务方式进行应用,通过该方式提供的接口,可以获取任务的执行状态,以便开发人员基于该状态开发其它相关联功能服务。
详情查阅:产品帮助文档
同步服务可以API形式供第三方系统调用,通过在第三方系统输入参数,调用服务,并将服务的执行结果返回到第三方系统中,支持服务测试,可查看实时返回的结果。同步服务一般提供模型预测服务,根据传入数据,实时返回预测数据。要求调用的流程中必须有同步输入和同步输出节点,同步服务只返回数据集结果。同步服务流程示例如图所示:

人工智能平台

注:点击【开启】,启动同步服务,服务状态显示已启动,则可进行调用。也可在配置中通过添加实例开启同步服务。
流服务,即流程中有kafka输入节点的服务。开启服务后,等待消息队列中有数据后就会执行流程。可在服务列表中查看日志信息。
灰度发布是指在黑与白之间能够平滑过度的一种方式,实现不停机切换模型。创建灰度服务时,可以绑定一个同步服务,或绑定两个输入元信息相同的同步服务,灰度服务只根据发布策略做同步服务的转发,可根据实际运行情况变更绑定的同步服务。

详情查阅:产品帮助文档

三、离线调用

离线调用是脱离平台调用模型。Tempo人工智能平台提供的离线服务包机制可以满足用户对于平台中的成果的离线使用需求,用户可以基于该离线服务包封装自己的应用服务,而不依赖于Tempo人工智能平台,可以很好的满足用户的工程应用需求。
在离线调度时,首先需要将模型的输入输出改成同步输入和同步输出。在同步服务中支持下载公共包和下载服务包,实现模型脱离平台离线调用。在平台中支持2种方式:流程和管道。流程是常规的流程发布的同步服务;管道是指在管道分析页建立预测流程,发布为同步服务,方便用户建立轻量化的预测或处理过程,脱离原有的spark框架高效执行(但功能有限)。可结合实际业务需求选择合适的方式。
在普通流程离线调用时,需要注意以下几点建议:
1)该模式不适用于训练建模的流程,但可以用于预测推理的流程;
2)该模式不适用于对现有流程进行大的修改,如增删节点,更改节点之间的连接关系、节点参数的大批量修改等;
3)该模型对于Python扩展编程等节点中的代码修改一定要慎重,避免因为格式问题导致的执行失败。
在管道离线调用时,目前支持的处理节点较少,在建立模型时同时需要考虑平台已有功能的支持程度。
详情查阅:产品帮助文档

四、基于三方模型的部署

用户基于线下好的Python模型,可以直接通过三方模型进行部署,同样支持同步服务、异步服务、调度任务。


服务热线
400-608-2558
咨询热线
029-88696198
美林数据
微信扫描二维码,立即在线咨询