美林数据
ABOUT US
美林数据技术股份有限公司(简称:美林数据,NEEQ:831546)是国内知名的数据治理和数据分析服务提供商。

美林新闻/NEWS

首页 美林数据 行业资讯

数据开发任务调度难、后期运维复杂、效率低?美林数据调度编排来帮你!

2023-03-28 14:45:00
某零售集团的数据智能团队,随着集团业务的快速发展,信息系统中的数据体量日益增加,来自业务部门的数据类需求不断涌现,深层次数据查询、数据分析、数据建模需求日益明显。
在项目建设过程中,客户基于Tempo数据工厂做了大量的集成开发任务,基于Tempo机器学习平台做了大量的经营决策模型,如何实现此类任务的智能化的调度,保障数据准确、及时地更新,成了核心需要解决的问题。

一、业务痛点  
传统的数据开发任务调度执行方式,主要分为3种:人工调度,基于sql、java、python等编程语言开发的定时调度脚本、ETL工具调度。
这3种调度方式主要存在的问题如下:
01、人工调度:需要开发人员对业务流程、开发流程高度熟悉,运维的难度高、成本大、准确率低。
02、脚本调度:通过代码进行编排,难度较大,缺乏任务监控、出错重试、补录等机制。
03、ETL调度:各任务节点通过并行、串行的方式进行编排,一方面无法充分使用系统资源,另一方面无法支持断点续跑。
传统的方法无法高效解决任务调度的问题,该如何破局呢?来看看美林数据的解决思路。

二、解决思路  
在实际生产中,一个好用的调度系统需要兼顾准确性、及时性和安全性。
准确性:要在正确的时间点启动正确的作业,确保作业按照正确的依赖关系及时准确地执行;
及时性:要实现合理调度系统资源,确保任务能够及时执行完成,保障业务正常开展;
安全性:当遭遇网络或业务系统故障时,要具备完善的监控日志查看、数据补录、数据重跑等机制,保障数据安全。
基于以上思路,美林数据专家团队结合该集团实际业务情况,为其定制了一套数据加工链路的标准流程,将每个阶段的数据进行高效抽取,并为后续的可视化分析、数据建模提供赋能,从而满足数据智能团队统一数据管理、快速支撑业务的需求。
某集团的加工链路标准流程图
△某集团的加工链路标准流程图
有了标准化流程,在具体的业务开展过程中该如何执行落地呢?Tempo调度编排为该集团提供了全新的智能化解决方案。
三、Tempo SA调度编排智能解决方案
Tempo SA调度编排智能解决方案是一款统一管理系统调度任务的自动化方案,主要包含可视化的调度中心、任务管理、周期实例的重跑、补数据等实例运维模块。能够实现调度复杂编排和监控,通过可视化配置、高容错、可修补等功能重点解决数据加工处理、数仓建设等业务场景中调度编排问题。
01、统一的任务管理能力
在Tempo
调度编排调度中心,可以按照项目、业务流、文件夹等方式开展调度任务,通过树形结构对Tempo 数据工厂的数据开发任务、Tempo人工智能平台的建模任务进行管理。以某集团的数据仓库项目建设为例,我们按照销售业务、仓储业务、物流业务对任务主题进行划分,再按照数仓分层情况,就能实现对任务的分类管理。
Tempo调度编排
02、自动化调度能力
在Tempo
调度编排调度中心的流程配置模块,可根据业务需求按周期定时定点开启任务调度,同时可以设置任务生效的时间范围,通过这种配置方式实现程序的自动化调度,还能通过配置流程出错重试次数,提升调度程序的容错性。
此外,Tempo
调度编排支持配置各任务间的依赖关系,保障任务按照业务流程执行,保障我们的数据质量,无依赖关系的任务间相互独立,充分调度系统资源,提升整体调度的执行效率。
Tempo调度编排
03、运维监控、数据补录能力
Tempo
调度编排能够通过可视化界面实时监控任务运行情况,支持查看执行记录的统计和任务运行日志等操作。
Tempo调度编排
当运维人员发现任务执行失败后,可以用过平台进行数据补数据,补数据操作可以从执行失败的流程节点开始,并执行有依赖关系的全部下游任务,实现任务的断点续跑功能,降低了数据补录的操作难度,缩短了整体数据补录时间。
Tempo调度编排
04、多场景混合编排能力
在Tempo产品体系下,可通过Tempo数据工厂实现数据开发、指标开发、通过Tempo人工智能平台实现数据建模等流程混合编排调度。
Tempo调度编排
在Tempo SA调度编排智能解决方案的助力下,该集团高效地解决了数据加工处理、数仓建设等业务场景中调度编排问题,提升了企业数据质量和业务需求开发效率,为企业经营决策分析赋能。

小T总结
Tempo调度编排简易操作的可视化作界面,极大降低使用门槛;
实时监控任务运行,操作日志可追溯,大幅提升了安全性;
自动化调度、任务依赖关系配置、补数据等功能,有效降低了运维的难度及成本。

服务热线
400-608-2558
咨询热线
15502965860
美林数据
微信扫描二维码,立即在线咨询