美林数据
ABOUT US
美林数据技术股份有限公司(简称:美林数据,NEEQ:831546)是国内知名的数据治理和数据分析服务提供商。

美林新闻/NEWS

首页 美林数据 行业资讯

【数据建模工具】数据处理算法讲解之数据平滑

2022-09-08 17:44:22
数据平滑可以有效地去除数据中的噪音数据对原始数据进行预处理。尤其是数据中存在异常值或比较突兀的尖峰存在时,需要对数据进行平滑处理。
算法思想
数据平滑是数据建模分析中数据预处理方法,数据平滑可以有效地去除数据中的噪音数据对原始数据进行预处理。尤其是数据中存在异常值或比较突兀的尖峰存在时,需要对数据进行平滑处理。平台实现了Lagrange插值和五点三次移动平均法2种数据平滑方式。
►Lagrange插值法
Lagrange插值法是一种多项式插值方法,其可以找到一个多项式,其恰好在各个观测的点取到观测到的值。
在平面上有数据建模工具共n个点,现作一条函数使其经过这n各点。设集合数据平滑作n个多项式.对于任意数据建模,都有使得

数据建模工具是n-1次多项式且满足数据建模工具并且数据建模工具
最后可得数据建模工具
形如上式的插值多项式数据建模工具称为拉格朗日插值多项式。
►五点三次平滑法:
对于给定的序列数据建模工具计算其平滑序列,则数据建模工具的平滑值为:
功能说明
数据标准化是将操作字段按照给定的方法完成由原始数据到新的数据的映射,以此消除多字段组合分析情况下存在的数量级和量纲的不同造成的不利影响,算法支持最大最小归一化、最大值归一化及Z标准化等方法。
数据格式
数值型字段;
参数说明

数据建模工具
参数 类型 描述
选择变量 列表框 需要做数据标准化的属性/字段/列的集合。这里选择的属性/字段/列的数据类型必须为数值型
标准化方式_最大最小归一化 下拉框 原数据与原最小值的差除以原最大值与原最小值的差,得到商后乘以指定最大值与指定最小值的差,乘积后再加上指定最小值。得到标准化后的新数据。通过这种方法,默认将原数据的范围变换到0和1之间;若用户输入指定的最小值和最大值,则将原数据的范围变换到指定mix和指定max之间
标准化方式_最大值归一化 下拉框 每个数值除以数值绝对值的最大值
标准化方式_Z标准化 下拉框 目的是将数据转化为服从接近正态分布的数据,其均值为0,方差为1。计算公式为数值减去均值后除以标准差
结果说明
 数据建模工具
对指定的属性进行标准化处理。

演示实例
利用Tempo数据建模工具构建如下流程:
 机器学习平台
【文件输入】节点配置如下:
 数据建模工具
【数据标准化】节点配置如下:
 数据标准化
流程运行结果如下:
 数据建模工具







服务热线
400-608-2558
咨询热线
029-88696198
美林数据
微信扫描二维码,立即在线咨询