㈠ 如何判别测量数据中是否有异常值
在回弹法检测砼强度中,按批抽样检测的测区数量往往很多,这就不可避免出现较多的检测异常值,怎样判断和处理这些异常值,对于提高检测结果的准确性意义重大。格拉布斯检验法是土木工程中常用的一种检验异常值的方法,其应用于回弹法检测砼强度,能有效提高按批抽样检测结果的准确性。
㈡ AMOS软件分析结果中怎么判断异常值
真不懂 都没听过的
㈢ 怎么对统计数据的异常值进行判断和处理
异常值,指的是样本中的一些数值明显偏离其余数值的样本点,所以也称为离群点。异常值分析就是要将这些离群点找出来,然后进行分析。
异常值判断
在不同的数据中,鉴别异常值有不同的标准,常规有以下几种:
(1)数字超过某个标准值
这是最常用的异常值判断方法之一。主要是看数据中的最大值或最小值,依据专业知识或个人经验,判断是否超过了理论范围值,数据中有没有明显不符合实际情况的错误。
比如,测量成年男性身高(M),出现17.8m这样的数据,显然不符合实际情况。
又或者,如问卷数据使用1-5级量表进行研究,出现-2,-3这类数据,则可能提示为跳转题、空选等。
(2)数据大于±3标准差
3σ 原则是在数据服从正态分布的时候用的比较多,在这种情况下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。
在数据处理的时候,按照正态分布的性质,三个标准差以外的数据都可以被看作是错误的数据从而排除掉。
㈣ 什么是格拉布斯准则
格拉布斯准则是在未知总体标准差情况下,对正态样本或接近正态样本异常值的一种判别方法。
对于测量次数n=3~5的测量,格拉布斯准则理论较严密,概率意义明确,实践证明是一种比较切合测量实际的判别异常值的方法。异常值的出现会歪曲测量结果,所以当测量结果中出现异常值时,应尽可能地查找出技术上和物理上的原因,作为处理异常值的依据。对经判断确为异常值的数据,应予以剔除,不得包括在测量列中。在自动测量系统和测量过程控制中,测量软件必须设计异常值剔除程序。
㈤ 工程测量时,如何用格拉布斯准则剔除异常值
在做测量不确定度的评定时,对于测量结果进行数据处理之前,往往要进行异常值的剔除工作。超出在规定条件下预期的误差叫做异常值。产生异常值的原因一般是由于疏忽、失误或突然发生的不该发生的原因造成的,如读错、记错、仪器示值突然跳动、突然震动、操作失误等。所以必须在计算测量结果及不确定度评定中要考虑异常值的判别和剔除。
异常值的判别方法也叫异常值检验法,即:判断异常值的统计检验法。其方法有很多种,例如格拉布斯法、狄克逊法、偏度-峰度法、拉依达法、奈尔法等等。每种方法都有其适用范围和优缺点。每种统计检验法都会犯错误1和错误2。但是有人做过统计,在所有方法中,格拉布斯法犯这两种错误的概率最小,所以本文介绍如何使用格拉布斯法来剔除异常值,其判别步骤如下:
1、假设现在有一组测量数据为:例如测量10次(n=10),获得以下数据:8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
2、排列数据:将上述测量数据按从小到大的顺序排列,得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定,可疑值不是最小值就是最大值。
3、计算平均值x-和标准差s:x-=7.89;标准差s=2.704。计算时,必须将所有10个数据全部包含在内。
4、计算偏离值:平均值与最小值之差为7.89-4.7=3.19;最大值与平均值之差为14.0-7.89=6.11。
5、确定一个可疑值:比较起来,最大值与平均值之差6.11大于平均值与最小值之差3.19,因此认为最大值14.0是可疑值。
6、计算Gi值:Gi=(xi-x- )/s;其中i是可疑值的排列序号——10号;因此G10=( x10-x- )/s=(14.0-7.89)/2.704=2.260。由于 x10-x-是残差,而s是标准差,因而可认为G10是残差与标准差的比值。下面要把计算值Gi与格拉布斯表给出的临界值GP(n)比较,如果计算的Gi值大于表中的临界值GP(n),则能判断该测量数据是异常值,可以剔除。但是要提醒,临界值GP(n)与两个参数有关:检出水平α (与置信概率P有关)和测量次数n (与自由度f有关)。
7、定检出水平α:如果要求严格,检出水平α可以定得小一些,例如定α=0.01,那么置信概率P=1-α=0.99;如果要求不严格,α可以定得大一些,例如定α=0.10,即P=0.90;通常定α=0.05,P=0.95。
8、查格拉布斯表获得临界值:根据选定的P值(此处为0.95)和测量次数n(此处为10),查格拉布斯表,横竖相交得临界值G95(10)=2.176。
9、比较计算值Gi和临界值G95(10):Gi=2.260,G95(10)=2.176,Gi>G95(10)。
10、判断是否为异常值:因为Gi>G95(10),可以判断测量值14.0为异常值,将它从10个测量数据中剔除。
11、余下数据考虑:剩余的9个数据再按以上步骤计算,如果计算的Gi>G95(9),仍然是异常值,剔除;如果Gi<G95(9),不是异常值,则不剔除。本例余下的9个数据中没有异常值。
㈥ 怎么对统计数据的异常值进行判断和处理
实在看不下去了,网络知道里面这么多人在问这个问题,那么多人回答,所有的回答都是在扯淡。GB/T 4883《数据的统计处理和解释 正态样本离群值的判断和处理》这个国标才是你们想要的答案。各个行业的各种问题,基本上都有相应的国标和行业标准,遇到问题多找找有没有相应的标准。
㈦ 判断可疑测量值取舍常用的检验方法有哪些
判断可疑测量值取舍常用的检验方法常用的有四倍法、Q检验法、迪克逊(Dixon)检验法和格鲁布斯(Grubbs)检验法。
在实际分析工作中,常常会遇到一组平行测量数据中有个别的数据过高或过低这种数据称为可以数据,也称异常值或逸出值。
(7)异常值的判别方法有哪些扩展阅读:
在一组分析数据中,往往有个别数据与其他数据相差较大,这种个别数据成为可疑值。对可疑值的处理,应首先回顾和检查生产可疑值的实验过程,有无可觉察到的技术上的异常原因。但原因不明时,必须按一定的数理统计方法进行处理,决定保留还是舍弃。
在定量分析化学实验中,实验结束后,必须对分析数据进行处理,这样能拓宽分析化学实验的应用面,以适应厂矿化验室实际工作的需要。同时也增强实验员分析化学的理论和实验必备素质。
㈧ 异常值的判断处理
检验批中异常数据的判断处理
1、依据标准
《计数抽样检验程序》(GB2828)、《正态样本异常值的判断和处理》(GB4883)。
2、异常值定义
异常值是指样本中的个别值,其数值明显偏离它(或他们)所属样本的其余观测值。
3、异常值的种类
(1)可能是总体固有的随机变异性的极端现,属同一总体;
(2)可能是试验条件和方法的偶然偏离,不属同一总体。
4、判断异常值的统计学原则
(1)上侧情形:异常值为高端值;
(2)下侧情形:异常值为低端值;
(3)双侧情形:异常值在两端可能出现极端值。
5、判断异常值的规则:
(1)标准差已知——奈尔(Nair)检验法;
(2)标准差未知——格拉布斯(Grubbs)检验法和狄克逊(Dixon)检验法。
6、格拉布斯(Grubbs)检验法
(1)计算统计量
μ=(X1+X2+…+Xn)/n
s=(∑(Xi-μ)/(n-1))½(i=1,2…n)
Gn=(X(n)-μ)/s
式中μ——样本平均值;
s——样本标准差;
Gn——格拉布斯检验统计量。
(2)确定检出水平α,查表(见GB4883)得出对应n,α的格拉布斯检验临界值G1-α(n)。
(3)当Gn>G1-α(n),则判断Xn为异常值,否则无异常值。
(4)给出剔除水平α’的G1-α’(n),当当Gn>G1-α’(n)时,Xn为高度异常值,应剔除。
三、格拉布斯检验法在回弹法检测砼强度中的应用
将测区混凝土强度换算值按从小到大的顺序排列f1、f2、…fn,计算格拉布斯检验统计量:
Gn=(fn-m)/s
Gn’=(m-f1)/s
式中m——测区混凝土强度换算值的平均值;
s——测区混凝土强度标准差。
取检出水平α为5%,剔除水平α’为1%,按双侧情形检验,从附表中查得检出水平α对应格拉布斯检验临界值G0.975,剔除水平α’对应格拉布斯检验临界值G0.995。
若Gn>Gn’,且Gn>G0.975,则判断fn为异常值,否则,判断无异常值;
若Gn>Gn’,且Gn>G0.995,则判断fn为高度异常值,可考虑剔除;
若Gn’>Gn,且Gn’>G0.975,则判断f1为异常值,否则,判断无异常值;
若Gn’>Gn,且Gn’>G0.995,则判断f1为高度异常值,可考虑剔除;
分析异常值出现原因,判断异常值是否舍弃。不得随意舍去异常值,应检查异常值出现是否系材料或施工质量变化等原因所致。
若检出了一个异常值,对除去已检出异常值后余下得数值继续用格拉布斯检验法检验,直到不能检出异常值为止。
㈨ 剔除“异常值”的一般原则是啥
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。异常值outlier:一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。在处理数据时,应剔除高度异常的异常值。异常值是否剔除,视具体情况而定。在统计检验时,指定为检出异常值的显着性水平α=0.05,称为检出水平;指定为检出高度异常的异常值的显着性水平α=0.01,称为舍弃水平,又称剔除水平(reject level)。异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。在处理数据时,应剔除高度异常的异常值。异常值是否剔除,视具体情况而定。在统计检验时,指定为检出异常值的显着性水平α=0.05,称为检出水平;指定为检出高度异常的异常值的显着性水平α=0.01,称为舍弃水平,又称剔除水平(reject level)。标准化数值(Z-score)可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此,应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查,以决定它是否属于该数据集。肖维勒准则法(
Chauvenet):经典方法,改善了拉依达准则,过去应用较多,但它没有固定的概率意义,特别是当测量数据值n无穷大时失效。