智能制造与大数据：数据分析实现智能化大数据分析与应用-美林数据

智能制造与大数据：数据分析实现智能化

时间：2020-12-25 15:13:37 浏览：次

前面《智能制造与大数据——数据共享实现网络化》一文围绕智能制造发展的第二个阶段——“网络化”展开阐述，重点介绍通过主数据标准制定及数据处理等技术保障共享数据的一致性与完整性，从而实现网络化协同的目标。
制造的进一步目标是在数字化和网络化的基础上实现智能化制造。本期，我们将继续和您分享“智能制造发展的第三阶段-智能化”。

一、无处不在的“智能”应用
近年来，随着高新科技与创新浪潮的发展，“智能”二字在我们生活中出现的频次越来越高，智能化设备也越来越多，如：智能冰箱（通过温度自动调节让食物保持最佳存储状态）、智能手表（除指示时间还能监测使用者的睡眠、健康状态、足迹等）、智能音箱（除了外音播放还可以进行各类语音交互，如新闻播报、智能家电控制等）、智能扫地机器人（能够自动测量工作空间、规划合理路径，执行全屋清扫）、智能汽车（无人驾驶汽车，通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标）等。此外，全社会还在致力于构建智慧城市、智慧医疗、智慧能源、智能化民生等建设。

“智能”无处不在，归根结底是因为随着数据采集、数据传输与共享、数据处理与分析和人工智能技术的发展，我们有了从非智能向智能转变的基础和契机。站在智能制造的角度，围绕制造型企业的智能应用重点包括：智能设计、智能研发、智能决策、智能车间、智能工厂、智能物流与供应链、智能服务、智能装备、智能产线、智能管理等。

二、实现智能化的关键：大数据处理与分析技术
众所周知，大数据是人工智能的基石，人工智能依赖于超强的计算能力和充分的大数据集。制造企业智能化应用的真正实现，必然也需要围绕企业发展中产生的大量多源异构数据资产作支撑，比如：各类业务信息系统中的结构化数据；经营文件、作业指导书、质检报告等半结构化数据；生产管理监控视频、测试音频等非结构化数据；产品试验过程时序监测数据等。为实现这些数据的充分利用与价值挖掘，大数据处理与分析技术就显得尤为重要。
大数据处理与分析技术支撑“数据资产价值化”这个核心目标的实现，重点是将采集存储的企业数据资产，通过业务分析、场景构建、分析处理、算法开发、模型构建、可视化和应用开发等步骤，实现数据价值变现，以达到智能决策与应用的目的。一句话概括，工业大数据分析主要是利用统计分析、机器学习、深度学习、信号处理等技术，结合业务知识通过对工业过程中所产生的数据进行处理、计算、分析并提取其价值信息、规律，进而实现自感知、自决策、自执行的过程。
随着物联网、高性能计算、高维可视化、大数据基础平台等技术的发展与支撑，基于大数据处理与分析技术，开展制造企业各层次研发、生产、管理、服务等智能化决策应用模型的开发，解决企业生产及经营管理层面的业务难题，已成为现阶段制造企业智能化转型升级的核心工作之一。

三、典型的数据分析挖掘过程
典型的数据分析挖掘过程主要包括基于业务充分调研与理解后的数据接入、数据预处理、特征工程、算法选择与开发、模型构建、评估评测、模型洞察、模型部署及成果发布等过程。美林数据完全基于此分析建模流程研发打造 Tempo 大数据分析平台，支持企业级用户快速实现数据资产的深度分析与应用建模。

1、数据接入
平台数据接入包含关系型数据库输入、MPP数据库输入、大数据分析引擎输入、文件上传、数据同步等不同输入节点，支持不同类型数据的快速导入，为挖掘分析与模型训练提供基础数据源。
2、数据处理
提供多种数据预处理方法及数据的高级转换操作，包括但不限于数据标准化、RFM分析、因子分析、角色定义等，实现数据清理、集成、变换、消缺、归约等预处理操作，为挖掘分析做好数据准备。
3、特征工程
要构建一个高效精准的机器学习模型有很大一部分因素取决于特征向量的选择与提取，构造好的特征向量，是要选择合适的、表达能力强的特征。尤其是对于工业大数据来说，由于数据来源多、业务机理复杂、外界因素干扰、传感器异常等原因，企业原始数据包含较多的异常点、干扰点，多维度之间存在非线性关系等，这些都将直接影响后续模型构建的准确性以及模型复杂度，因此在算法选择与模型构建之前，需要数据分析人员对原始数据进行探索分析与特征提取，开展过滤、转化、降维、特征选择等特征分析工作，为算法选择与模型训练提供良好输入。
4、算法选择
基于业务问题剖析、数据基础探索与特征工程处理后，算法类型的确定与具体算法的选择将成为搭建分析模型的关键。平台提供丰富的分析挖掘算法库，包括分类、聚类、回归、关联分析、时间序列、综合评价及文本挖掘等多类别上百种机器学习算法，并支持集成学习、深度学习等框架与应用模型搭建，全面实现复杂场景下各业务数据的分析与建模诉求。与此同时，平台提供基于Python、Java、R、MATLAB等编程语言的扩展编程接口，支持特定场景下，工业应用领域用户的业务型经验算法、细分专业特定算法的快速写入与固化应用。
5、模型训练
模型训练是以历史数据为样本，对模型进行评估，以保障模型的准确率。在样本选择的时候，需要满足数据样本多样化、数据样本尽可能大、数据样本的质量尽可能高等条件。平台提供对模型迭代训练过程的可视化洞察功能，实现模型训练过程的全透明管理监控，辅助数据分析人员构建高性能和高精准度的挖掘模型。
6、评估评测
精度准确、性能良好的机器学习模型不是一蹴而就训练获得的，过程中需要基于CRISP-DM流程进行反复迭代、优化与评测验证，根据数据变化及业务决策使用要求反复调整优化模型。因此，合理、有效的模型评估方法与机制是必不可少的。平台提供的模型评估方式支持离线评估和在线评估两种方式，并可直接对评估结果进行可视化展现；评估完的模型可直接在建模工程中进行输出、读取与复用。
7、模型洞察
模型洞察的作用是全方位观察分析建模过程及模型运算的结果，通过洞察能够为改进数据分析挖掘流程和模型调优提供支撑，从而提升模型有效性和精度。
8、模型部署
模型部署重点是将设计、验证后的模型与调用流程投入生产使用，通过发布挖掘流程，并利用调度任务或接口服务等方式将设计好的流程接入到生产环境，形成最终的决策应用系统，指导实际业务的开展。
9、、成果发布
整个数据分析及建模工程完成后，可以快速将分析挖掘模型等成果进行发布与共享，支持外部链接、数据展示门户及外部调用接口等多种分享方式。成果发布后形成数据挖掘模型库，后续类似应用构建时可从模型库中选择已有模型进行快速调整，提升建模效率。支持将发布后的成果嵌入第三方平台或与已有信息业务系统集成，并支持将关键信息实时发送到移动端、PC端、大屏等，满足企业多层级多场景下决策应用的需求。

四、典型应用场景：预测与健康管理
智能化应用的一个典型场景便是预测与健康管理(Prognostics and Health Management，PHM)，尤其是设备状态的准确分析与预测性维护。一直以来传统企业在典型或核心设备层面的维护主要是参照设备的标准参数及工人经验进行设备维护保养，维护人员经常不得不选择提前更换正常部件以最大限度保障设备正常运行，或冒着发生故障停机的风险使其尽可能久的运行，存在着过渡维护、成本浪费或潜在风险增大等现象，比如：机器突发性故障会造成时间、生产和利润的严重损失。
如何实时准确地判断设备的健康状态，并提前预测设备或典型部件的失效时间是困扰企业的一大问题。我们知道，一台设备是否会提前或者延后失效与设备的使用过程有很大的关系，通过采集设备运行状态信息及设备维修保养记录信息，根据设备失效的影响因素构建设备预测性维护模型。通过历史数据进行学习模型构建与知识获取，在应用过程中以实时的设备运行状态数据为输入，并基于预测出的设备健康状态与失效时间提前进行设备维护，可极大程度避免设备的各类突发故障。基于“数据驱动+机理模型”的设备状态评估与预测性分析，帮助企业回答了“是否有故障”、“哪一类故障”、“何时维修、如何维修”的问题，既能高效准确找出需关注的部件或子系统，前瞻性开展维修计划及工具、库存备件的准备等相关工作，还可以在设备脱机或生产间隙安排并启动维修保养计划，为车间和工厂节省时间、金钱和空间，也可避免不正确的维护计划带来的设备利用率低及突发故障的产生，进而保障生产安全并提高生产效率。

简单来说，基于设备全要素的数据采集、存储、共享与分析的设备预测性维护可实现如下效果：

较高的运维效率：显著降低设备的故障率及停机时间，提高设备利用率，保证设备持续使用，避免非计划性停工，提高企业生产效率。全面降低由设备的故障或突发故障所带来的难以估算的安全隐患，提升企业设备运维效率与质量。
较好的设备性能：一体化设备健康管理平台，可有效积累设备典型故障模式及知识库，结合设备全寿期数据连接，可实现设备研制信息闭环反馈，全面提升设备研制与维护水平。
较低的服务成本：减少设备整个生命周期维修费用及成本，消除过度维护所花费的时间和资源，设备维修总体原则可改变为“适时小修、避免大修、预防性、计划性维护”。

对于智能制造的发展来说，数字化制造、网络化制造和新一代智能制造并不是决然分离的，而是相互交织、迭代升级。在数字技术、网络技术充分发展的今天，智能制造推进过程中都可按照需要融入各种先进技术，进而推进制造业转型升级。
本专栏系列文章主要针对智能制造三个阶段中的数据采集、数据共享及数据分析等关键技术进行阐述。随着物联网、大数据和云计算等技术的高速发展，基于多信息采集与融合分析的智能化应用能力逐步落地并发挥出较大价值，使得企业生产能力和经营效益均达到了一个全新高度。对于期待智能化转型的制造企业，务必在开展智能制造应用规划与建设的过程中要利用好此类技术，为数据采集、数据共享与数据分析应用提供支撑。
只要全面把握企业智能制造发展的方向与目标，围绕具体目标确定相关数据范围，并采用合适的数据采集技术获取数据，并将数据进行标准化、规范化管理，从而实现高质量的数据融合与共享；结合具体业务问题的智能模型构建与利用，实现基于数据驱动的生产管理过程的诊断与优化，实现生产业务、经营管理活动的自感知、自决策与自执行，逐步实现企业的智能化转型目标。

大话数据挖掘之数据挖掘简介

BI工具怎么选？

推荐新闻