平滑处理.pdf"/>
肖维勒方法 matlab,数据预处理之剔除异常值及平滑处理.pdf
数据预处理之剔除异常值及平滑处理.pdf
数据预处理——剔除异常值及平滑处理
测量数据在其采集与传输过程中,由于环境干扰或人为因素有可
能造成个别数据不切合实际或丢失,这种数据称为异常值。为了恢复
数据的客观真实性以便将来得到更好的分析结果,有必要先对原始数
据剔除异常值。
另外,无论是人工观测的数据还是由数据采集系统获取的数据,
都不可避免叠加上“噪声”干扰 (反映在曲线图形上就是一些“毛刺
和尖峰”)。为了提高数据的质量,必须对数据进行平滑处理(去噪声
干扰)。
(一)剔除异常值。
注:若是有空缺值,或导入Matlab 数据显示为“NaN”(非数),
需要忽略整条空缺值数据,或者填上空缺值。
填空缺值的方法,通常有两种:A. 使用样本平均值填充;B. 使
用判定树或贝叶斯分类等方法推导最可能的值填充(略)。
一、基本思想:
规定一个置信水平,确定一个置信限度,凡是超过该限度的误差,
就认为它是异常值,从而予以剔除。
二、常用方法:拉依达方法、肖维勒方法、一阶差分法。
注意:这些方法都是假设数据依正态分布为前提的。
1. 拉依达方法(非等置信概率)
如果某测量值与平均值之差大于标准偏差的三倍,则予以剔除。
x x 3S
i x
1
1 n 1 n 2 2
其中,x x 为样本均值, 为样本的标准偏
更多推荐
肖维勒方法 matlab,数据预处理之剔除异常值及平滑处理.pdf
发布评论