㈠ 如何判別測量數據中是否有異常值
在回彈法檢測砼強度中,按批抽樣檢測的測區數量往往很多,這就不可避免出現較多的檢測異常值,怎樣判斷和處理這些異常值,對於提高檢測結果的准確性意義重大。格拉布斯檢驗法是土木工程中常用的一種檢驗異常值的方法,其應用於回彈法檢測砼強度,能有效提高按批抽樣檢測結果的准確性。
㈡ AMOS軟體分析結果中怎麼判斷異常值
真不懂 都沒聽過的
㈢ 怎麼對統計數據的異常值進行判斷和處理
異常值,指的是樣本中的一些數值明顯偏離其餘數值的樣本點,所以也稱為離群點。異常值分析就是要將這些離群點找出來,然後進行分析。
異常值判斷
在不同的數據中,鑒別異常值有不同的標准,常規有以下幾種:
(1)數字超過某個標准值
這是最常用的異常值判斷方法之一。主要是看數據中的最大值或最小值,依據專業知識或個人經驗,判斷是否超過了理論范圍值,數據中有沒有明顯不符合實際情況的錯誤。
比如,測量成年男性身高(M),出現17.8m這樣的數據,顯然不符合實際情況。
又或者,如問卷數據使用1-5級量表進行研究,出現-2,-3這類數據,則可能提示為跳轉題、空選等。
(2)數據大於±3標准差
3σ 原則是在數據服從正態分布的時候用的比較多,在這種情況下,異常值被定義為一組測定值中與平均值的偏差超過3倍標准差的值。
在數據處理的時候,按照正態分布的性質,三個標准差以外的數據都可以被看作是錯誤的數據從而排除掉。
㈣ 什麼是格拉布斯准則
格拉布斯准則是在未知總體標准差情況下,對正態樣本或接近正態樣本異常值的一種判別方法。
對於測量次數n=3~5的測量,格拉布斯准則理論較嚴密,概率意義明確,實踐證明是一種比較切合測量實際的判別異常值的方法。異常值的出現會歪曲測量結果,所以當測量結果中出現異常值時,應盡可能地查找出技術上和物理上的原因,作為處理異常值的依據。對經判斷確為異常值的數據,應予以剔除,不得包括在測量列中。在自動測量系統和測量過程式控制制中,測量軟體必須設計異常值剔除程序。
㈤ 工程測量時,如何用格拉布斯准則剔除異常值
在做測量不確定度的評定時,對於測量結果進行數據處理之前,往往要進行異常值的剔除工作。超出在規定條件下預期的誤差叫做異常值。產生異常值的原因一般是由於疏忽、失誤或突然發生的不該發生的原因造成的,如讀錯、記錯、儀器示值突然跳動、突然震動、操作失誤等。所以必須在計算測量結果及不確定度評定中要考慮異常值的判別和剔除。
異常值的判別方法也叫異常值檢驗法,即:判斷異常值的統計檢驗法。其方法有很多種,例如格拉布斯法、狄克遜法、偏度-峰度法、拉依達法、奈爾法等等。每種方法都有其適用范圍和優缺點。每種統計檢驗法都會犯錯誤1和錯誤2。但是有人做過統計,在所有方法中,格拉布斯法犯這兩種錯誤的概率最小,所以本文介紹如何使用格拉布斯法來剔除異常值,其判別步驟如下:
1、假設現在有一組測量數據為:例如測量10次(n=10),獲得以下數據:8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
2、排列數據:將上述測量數據按從小到大的順序排列,得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定,可疑值不是最小值就是最大值。
3、計算平均值x-和標准差s:x-=7.89;標准差s=2.704。計算時,必須將所有10個數據全部包含在內。
4、計算偏離值:平均值與最小值之差為7.89-4.7=3.19;最大值與平均值之差為14.0-7.89=6.11。
5、確定一個可疑值:比較起來,最大值與平均值之差6.11大於平均值與最小值之差3.19,因此認為最大值14.0是可疑值。
6、計算Gi值:Gi=(xi-x- )/s;其中i是可疑值的排列序號——10號;因此G10=( x10-x- )/s=(14.0-7.89)/2.704=2.260。由於 x10-x-是殘差,而s是標准差,因而可認為G10是殘差與標准差的比值。下面要把計算值Gi與格拉布斯表給出的臨界值GP(n)比較,如果計算的Gi值大於表中的臨界值GP(n),則能判斷該測量數據是異常值,可以剔除。但是要提醒,臨界值GP(n)與兩個參數有關:檢出水平α (與置信概率P有關)和測量次數n (與自由度f有關)。
7、定檢出水平α:如果要求嚴格,檢出水平α可以定得小一些,例如定α=0.01,那麼置信概率P=1-α=0.99;如果要求不嚴格,α可以定得大一些,例如定α=0.10,即P=0.90;通常定α=0.05,P=0.95。
8、查格拉布斯表獲得臨界值:根據選定的P值(此處為0.95)和測量次數n(此處為10),查格拉布斯表,橫豎相交得臨界值G95(10)=2.176。
9、比較計算值Gi和臨界值G95(10):Gi=2.260,G95(10)=2.176,Gi>G95(10)。
10、判斷是否為異常值:因為Gi>G95(10),可以判斷測量值14.0為異常值,將它從10個測量數據中剔除。
11、餘下數據考慮:剩餘的9個數據再按以上步驟計算,如果計算的Gi>G95(9),仍然是異常值,剔除;如果Gi<G95(9),不是異常值,則不剔除。本例餘下的9個數據中沒有異常值。
㈥ 怎麼對統計數據的異常值進行判斷和處理
實在看不下去了,網路知道裡面這么多人在問這個問題,那麼多人回答,所有的回答都是在扯淡。GB/T 4883《數據的統計處理和解釋 正態樣本離群值的判斷和處理》這個國標才是你們想要的答案。各個行業的各種問題,基本上都有相應的國標和行業標准,遇到問題多找找有沒有相應的標准。
㈦ 判斷可疑測量值取捨常用的檢驗方法有哪些
判斷可疑測量值取捨常用的檢驗方法常用的有四倍法、Q檢驗法、迪克遜(Dixon)檢驗法和格魯布斯(Grubbs)檢驗法。
在實際分析工作中,常常會遇到一組平行測量數據中有個別的數據過高或過低這種數據稱為可以數據,也稱異常值或逸出值。
(7)異常值的判別方法有哪些擴展閱讀:
在一組分析數據中,往往有個別數據與其他數據相差較大,這種個別數據成為可疑值。對可疑值的處理,應首先回顧和檢查生產可疑值的實驗過程,有無可覺察到的技術上的異常原因。但原因不明時,必須按一定的數理統計方法進行處理,決定保留還是舍棄。
在定量分析化學實驗中,實驗結束後,必須對分析數據進行處理,這樣能拓寬分析化學實驗的應用面,以適應廠礦化驗室實際工作的需要。同時也增強實驗員分析化學的理論和實驗必備素質。
㈧ 異常值的判斷處理
檢驗批中異常數據的判斷處理
1、依據標准
《計數抽樣檢驗程序》(GB2828)、《正態樣本異常值的判斷和處理》(GB4883)。
2、異常值定義
異常值是指樣本中的個別值,其數值明顯偏離它(或他們)所屬樣本的其餘觀測值。
3、異常值的種類
(1)可能是總體固有的隨機變異性的極端現,屬同一總體;
(2)可能是試驗條件和方法的偶然偏離,不屬同一總體。
4、判斷異常值的統計學原則
(1)上側情形:異常值為高端值;
(2)下側情形:異常值為低端值;
(3)雙側情形:異常值在兩端可能出現極端值。
5、判斷異常值的規則:
(1)標准差已知——奈爾(Nair)檢驗法;
(2)標准差未知——格拉布斯(Grubbs)檢驗法和狄克遜(Dixon)檢驗法。
6、格拉布斯(Grubbs)檢驗法
(1)計算統計量
μ=(X1+X2+…+Xn)/n
s=(∑(Xi-μ)/(n-1))½(i=1,2…n)
Gn=(X(n)-μ)/s
式中μ——樣本平均值;
s——樣本標准差;
Gn——格拉布斯檢驗統計量。
(2)確定檢出水平α,查表(見GB4883)得出對應n,α的格拉布斯檢驗臨界值G1-α(n)。
(3)當Gn>G1-α(n),則判斷Xn為異常值,否則無異常值。
(4)給出剔除水平α』的G1-α』(n),當當Gn>G1-α』(n)時,Xn為高度異常值,應剔除。
三、格拉布斯檢驗法在回彈法檢測砼強度中的應用
將測區混凝土強度換算值按從小到大的順序排列f1、f2、…fn,計算格拉布斯檢驗統計量:
Gn=(fn-m)/s
Gn』=(m-f1)/s
式中m——測區混凝土強度換算值的平均值;
s——測區混凝土強度標准差。
取檢出水平α為5%,剔除水平α』為1%,按雙側情形檢驗,從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。
若Gn>Gn』,且Gn>G0.975,則判斷fn為異常值,否則,判斷無異常值;
若Gn>Gn』,且Gn>G0.995,則判斷fn為高度異常值,可考慮剔除;
若Gn』>Gn,且Gn』>G0.975,則判斷f1為異常值,否則,判斷無異常值;
若Gn』>Gn,且Gn』>G0.995,則判斷f1為高度異常值,可考慮剔除;
分析異常值出現原因,判斷異常值是否舍棄。不得隨意捨去異常值,應檢查異常值出現是否系材料或施工質量變化等原因所致。
若檢出了一個異常值,對除去已檢出異常值後餘下得數值繼續用格拉布斯檢驗法檢驗,直到不能檢出異常值為止。
㈨ 剔除「異常值」的一般原則是啥
異常值(outlier)是指一組測定值中與平均值的偏差超過兩倍標准差的測定值,與平均值的偏差超過三倍標准差的測定值,稱為高度異常的異常值。異常值outlier:一組測定值中與平均值的偏差超過兩倍標准差的測定值。與平均值的偏差超過三倍標准差的測定值,稱為高度異常的異常值。在處理數據時,應剔除高度異常的異常值。異常值是否剔除,視具體情況而定。在統計檢驗時,指定為檢出異常值的顯著性水平α=0.05,稱為檢出水平;指定為檢出高度異常的異常值的顯著性水平α=0.01,稱為舍棄水平,又稱剔除水平(reject level)。異常值是指一組測定值中與平均值的偏差超過兩倍標准差的測定值。與平均值的偏差超過三倍標准差的測定值,稱為高度異常的異常值。在處理數據時,應剔除高度異常的異常值。異常值是否剔除,視具體情況而定。在統計檢驗時,指定為檢出異常值的顯著性水平α=0.05,稱為檢出水平;指定為檢出高度異常的異常值的顯著性水平α=0.01,稱為舍棄水平,又稱剔除水平(reject level)。標准化數值(Z-score)可用來幫助識別異常值。Z分數標准化後的數據服從正態分布。因此,應用Z分數可識別異常值。我們建議將Z分數低於-3或高於3的數據看成是異常值。這些數據的准確性要復查,以決定它是否屬於該數據集。肖維勒准則法(
Chauvenet):經典方法,改善了拉依達准則,過去應用較多,但它沒有固定的概率意義,特別是當測量數據值n無窮大時失效。