異常值檢測方法及流程

㈠ spss 如何做異常點的檢驗

異常點。即：異常值
Spss中異常值檢查方法如下：
檢查異常值方法1：
最常用的方法就是對變數進行排序，這也是最簡單的方法。排序後對照最大值和最小值、全距等統計量可以看出數據的離群狀況。

檢查異常值方法2：
散點圖的優勢就在於直觀的呈現兩兩變數間的關系，尤其在兩變數間的線性關聯比較強的時候，如果有離群值，圖形偵察的結果會很明顯，不過（也包括矩陣散點等圖形）其局限在於，其本質還是變數間的兩兩間的關系，更多的多維信息的提供還是需要經驗去判斷。

檢查異常值方法3：
箱體圖為我們提供了數據百分位數的概念，例如四分位數（25%和75%）是將該變數分成約4個部分，分別提供了數據不同分位點附件的離散性，而且同時提供描述數據集中性的中位數，這樣在中間50%的數據上提供的信息將是異常豐富的。

檢查異常值方法4：
在主要統計建模過程中大多會提供異常值或極端值的診斷，例如距離的測算：cook距離、杠桿值等；影響統計量：DfBeta、協方差比率等。它們均有相應的經驗上的判斷標准，如果有些指標沒有相應的判斷異常值的標准，則可以通過排序的方式，找到其相對大小。

檢查異常值方法5：
標識異常個案，這里提供的是統計建模的方式偵查異常個案（注意它的結果有可能和我們其他方式偵查的結果有出處），這種方法主要通過兩步聚類的思想，找到不同個案間的相似性，通過對所在類別的評價計算出異常索引，然後找到對應的ID號，則該個案可能為異常值，至於對這些異常個案怎麼處理，分析人員作出何種決定，這個最好結合專業背景綜合判斷後續的處理方法。

檢查異常值方法6：
如果涉及的是時序數據，控制圖是不錯的選擇，在控制規則里提供了異常豐富的偵查異常個案的選項。
當然其他過程里也有一些細節的處理，例如，排列圖、誤差條形圖、可視離散化、缺失值診斷、數據驗證過程等。

㈡ 用spss怎麼找出離群值和異常值

第一步：異常值檢測
異常值的檢驗有很多種方法，最常見的是圖示法，也有使用分析方法進行探索，如下說明。
箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據；
散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據；
描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常；
其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。
02
第二步：異常值判定
上述已經說明異常值會帶來嚴重的影響，扭曲數據結論等。那麼首先需要設定異常值的標准，然後再對其進行處理。異常值的判定標准並不統一，更多是通過人為標准進行設定，SPSSAU提供以下幾類判定規則：
缺失數字
小於設定標準的數字
大於設定標準的數字
大於3個標准差

03
第三步：異常值處理
完成異常值的判定之後，接著需要進行處理；SPSSAU提供兩類處理方式，分別為：
1、設置為Null值；此類處理最簡單，而且絕大多數情況下均使用此類處理；直接將異常值「幹掉」，相當於沒有該異常值。如果異常值不多時建議使用此類方法
2、填補；如果異常值非常多時，則可能需要進行填補設置，SPSSAU共提供平均值，中位數，眾數和隨機數共四種填補方式。建議使用平均值填補方式。

㈢ 如何剔除數據中的異常值

剔除數據中的異常值的方法：

一、異常值檢測

異常值的檢驗有很多種方法，最常見的是圖示法，也有使用分析方法進行探索。

箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據。

散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據。

描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常。

其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。

二、異常值判定

上述已經說明異常值會帶來嚴重的影響，扭曲數據結論等。那麼首先需要設定異常值的標准，然後再對其進行處理。異常值的判定標准並不統一，更多是通過人為標准進行設定，SPSSAU提供以下幾類判定規則：

1、設置為Null值；此類處理最簡單，而且絕大多數情況下均使用此類處理；直接將異常值「幹掉」，相當於沒有該異常值。如果異常值不多時建議使用此類方法。

2、填補；如果異常值非常多時，則可能需要進行填補設置，SPSSAU共提供平均值，中位數，眾數和隨機數共四種填補方式。建議使用平均值填補方式。

㈣ 工程測量時，如何用格拉布斯准則剔除異常值

在做測量不確定度的評定時，對於測量結果進行數據處理之前，往往要進行異常值的剔除工作。超出在規定條件下預期的誤差叫做異常值。產生異常值的原因一般是由於疏忽、失誤或突然發生的不該發生的原因造成的，如讀錯、記錯、儀器示值突然跳動、突然震動、操作失誤等。所以必須在計算測量結果及不確定度評定中要考慮異常值的判別和剔除。
異常值的判別方法也叫異常值檢驗法，即：判斷異常值的統計檢驗法。其方法有很多種，例如格拉布斯法、狄克遜法、偏度-峰度法、拉依達法、奈爾法等等。每種方法都有其適用范圍和優缺點。每種統計檢驗法都會犯錯誤1和錯誤2。但是有人做過統計，在所有方法中，格拉布斯法犯這兩種錯誤的概率最小，所以本文介紹如何使用格拉布斯法來剔除異常值，其判別步驟如下：
1、假設現在有一組測量數據為：例如測量10次(n＝10)，獲得以下數據：8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
2、排列數據：將上述測量數據按從小到大的順序排列，得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定，可疑值不是最小值就是最大值。
3、計算平均值x-和標准差s：x-＝7.89；標准差s＝2.704。計算時，必須將所有10個數據全部包含在內。
4、計算偏離值：平均值與最小值之差為7.89－4.7＝3.19；最大值與平均值之差為14.0－7.89＝6.11。
5、確定一個可疑值：比較起來，最大值與平均值之差6.11大於平均值與最小值之差3.19，因此認為最大值14.0是可疑值。
6、計算Gi值：Gi＝(xi－x- )/s；其中i是可疑值的排列序號——10號；因此G10＝( x10－x- )/s＝(14.0－7.89)/2.704＝2.260。由於 x10－x-是殘差，而s是標准差，因而可認為G10是殘差與標准差的比值。下面要把計算值Gi與格拉布斯表給出的臨界值GP(n)比較，如果計算的Gi值大於表中的臨界值GP(n)，則能判斷該測量數據是異常值，可以剔除。但是要提醒，臨界值GP(n)與兩個參數有關：檢出水平α (與置信概率P有關)和測量次數n (與自由度f有關)。
7、定檢出水平α：如果要求嚴格，檢出水平α可以定得小一些，例如定α＝0.01，那麼置信概率P＝1－α＝0.99；如果要求不嚴格，α可以定得大一些，例如定α＝0.10，即P＝0.90；通常定α＝0.05，P＝0.95。
8、查格拉布斯表獲得臨界值：根據選定的P值(此處為0.95)和測量次數n(此處為10)，查格拉布斯表，橫豎相交得臨界值G95(10)＝2.176。
9、比較計算值Gi和臨界值G95(10)：Gi＝2.260，G95(10)＝2.176，Gi＞G95(10)。
10、判斷是否為異常值：因為Gi＞G95(10)，可以判斷測量值14.0為異常值，將它從10個測量數據中剔除。
11、餘下數據考慮：剩餘的9個數據再按以上步驟計算，如果計算的Gi＞G95(9)，仍然是異常值，剔除；如果Gi＜G95(9)，不是異常值，則不剔除。本例餘下的9個數據中沒有異常值。

㈤ 如何檢測業務數據中的異常

處理異常值

異常值的定義是與均值的偏差超過兩倍標准，但是在臟數據中，異常值的情況不止這一種：

1）比如一列數據你打開看全部是數字，當你把它當數值型處理，它會報錯；那就得仔細查找原因，遇到比較多的情況是一列數字中夾雜了幾個奇怪的字元串或者符號等元素，如果幾萬條數據中只有一兩個這種字元，即使認真從前到後仔細查看也很難發現還浪費大量時間，效率極低。

還有一種情況比較常見，就是看起來是數字，實際上都是字元串的形式，但是以表格查看的時候是看不到字元串的引號；這兩種情況可以通過查看特徵類型來提前發現，在python中用type()或者dtypes()函數，兩者使用對象有差別，可自行了解；

2）幾種常用異常值檢測方法：

• 3σ探測方法

3σ探測方法的思想其實就是來源於切比雪夫不等式。

對於任意ε>0，有：

當時，如果總體為一般總體的時候，統計數據與平均值的離散程度可以由其標准差反映，因此有：

• 一般所有數據中，至少有3/4（或75%）的數據位於平均2個標准差范圍內。

• 所有數據中，至少有8/9（或88.9%）的數據位於平均數3個標准差范圍內。

• 所有數據中，至少有24/25（或96%)的數據位於平均數5個標准差范圍內。
  

所以如果我們一般是把超過三個離散值的數據稱之為異常值。這個方法在實際應用中很方便的使用，但是他只有在單個屬性的情況下才適用。

• z-score
  

Z-score是一維或低維特徵空中的參數異常檢測方法。該技術假定數據是高斯分，異常值是分布尾部的數據點，因此遠離數據的平均值。距離的遠近取決於使用公式計算的歸一化數點z i的設定閾值Zthr：



Zthr值一般設置為2.5、3.0和3.5。該技術是使用KNIME工作流中的行過濾器節點實現的。

這種異常值處理需要結合最終需求來決定怎麼處理，常見的是不處理或者按缺失值的方法處理，但是在實際場景中，異常值有時候會有非常突出的表現，比如在現金貸業務中，異常值中的壞賬率遠高於整體壞賬水平或其他區間壞賬水平，這時候異常值就得保留並作為決策閾值的參考值。

• IQR

觀察箱型圖，或者通過IQR（InterQuartile Range）計算可以得到數據分布的第一和第四分位數，異常值是位於四分位數范圍之外的數據點。

這個方法真的很簡單，因為只需要給數據排個序就行了，顯然過於籠統，但在實際場景中，觀察箱型圖仍然是一個很好的探索數據分布的方法。

畢竟，所有復雜的探索，都是從最開始簡單的探索一步步得來的嘛！

㈥ 如何判別測量數據中是否有異常值

在回彈法檢測砼強度中，按批抽樣檢測的測區數量往往很多，這就不可避免出現較多的檢測異常值，怎樣判斷和處理這些異常值，對於提高檢測結果的准確性意義重大。格拉布斯檢驗法是土木工程中常用的一種檢驗異常值的方法，其應用於回彈法檢測砼強度，能有效提高按批抽樣檢測結果的准確性。

㈦ 異常值的判斷處理

檢驗批中異常數據的判斷處理
1、依據標准
《計數抽樣檢驗程序》（GB2828）、《正態樣本異常值的判斷和處理》（GB4883）。
2、異常值定義
異常值是指樣本中的個別值，其數值明顯偏離它（或他們）所屬樣本的其餘觀測值。
3、異常值的種類
(1)可能是總體固有的隨機變異性的極端現，屬同一總體；
(2)可能是試驗條件和方法的偶然偏離，不屬同一總體。
4、判斷異常值的統計學原則
(1)上側情形：異常值為高端值；
(2)下側情形：異常值為低端值；
(3)雙側情形：異常值在兩端可能出現極端值。
5、判斷異常值的規則：
(1)標准差已知——奈爾(Nair)檢驗法；
(2)標准差未知——格拉布斯(Grubbs)檢驗法和狄克遜(Dixon)檢驗法。
6、格拉布斯(Grubbs)檢驗法
(1)計算統計量
μ=(X1+X2+…+Xn)/n
s=(∑(Xi-μ)/(n-1))½(i=1,2…n)
Gn=(X(n)-μ)/s
式中μ——樣本平均值；
s——樣本標准差；
Gn——格拉布斯檢驗統計量。
(2)確定檢出水平α，查表（見GB4883）得出對應n，α的格拉布斯檢驗臨界值G1-α(n)。
(3)當Gn>G1-α(n),則判斷Xn為異常值，否則無異常值。
(4)給出剔除水平α』的G1-α』(n),當當Gn>G1-α』(n)時,Xn為高度異常值，應剔除。
三、格拉布斯檢驗法在回彈法檢測砼強度中的應用
將測區混凝土強度換算值按從小到大的順序排列f1、f2、…fn，計算格拉布斯檢驗統計量：
Gn=(fn-m)/s
Gn』=(m-f1)/s
式中m——測區混凝土強度換算值的平均值；
s——測區混凝土強度標准差。
取檢出水平α為5%，剔除水平α』為1%，按雙側情形檢驗，從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。
若Gn>Gn』，且Gn>G0.975，則判斷fn為異常值，否則，判斷無異常值；
若Gn>Gn』，且Gn>G0.995，則判斷fn為高度異常值，可考慮剔除；
若Gn』>Gn，且Gn』>G0.975，則判斷f1為異常值，否則，判斷無異常值；
若Gn』>Gn，且Gn』>G0.995，則判斷f1為高度異常值，可考慮剔除；
分析異常值出現原因，判斷異常值是否舍棄。不得隨意捨去異常值，應檢查異常值出現是否系材料或施工質量變化等原因所致。
若檢出了一個異常值，對除去已檢出異常值後餘下得數值繼續用格拉布斯檢驗法檢驗，直到不能檢出異常值為止。

㈧ 怎麼對統計數據的異常值進行判斷和處理

異常值，指的是樣本中的一些數值明顯偏離其餘數值的樣本點，所以也稱為離群點。異常值分析就是要將這些離群點找出來，然後進行分析。

異常值判斷

在不同的數據中，鑒別異常值有不同的標准，常規有以下幾種：

（1）數字超過某個標准值

這是最常用的異常值判斷方法之一。主要是看數據中的最大值或最小值，依據專業知識或個人經驗，判斷是否超過了理論范圍值，數據中有沒有明顯不符合實際情況的錯誤。

比如，測量成年男性身高（M），出現17.8m這樣的數據，顯然不符合實際情況。

又或者，如問卷數據使用1-5級量表進行研究，出現-2，-3這類數據，則可能提示為跳轉題、空選等。

（2）數據大於±3標准差

3σ 原則是在數據服從正態分布的時候用的比較多，在這種情況下，異常值被定義為一組測定值中與平均值的偏差超過3倍標准差的值。

在數據處理的時候，按照正態分布的性質，三個標准差以外的數據都可以被看作是錯誤的數據從而排除掉。

㈨ 怎麼用SAS進行異常值檢測

所謂異常值，設置一個變數的值非常極端或者出現的頻次非常的低。 1）數值型變數異常值檢測 數值型的變數異常值檢測可以通過PROC UNIVARIATE過程來完成 代碼如下：PROC UNIVARIATE DATA＝IREAD．DA_FIN_200909； VAR _NUMERIC_； RUN；然後查看每個變數的分位數表，分析哪些變數可能存在異常的情況。 2）字元型變數異常值檢測 字元型的變數異常值檢測可以通過PROC FREQ過程來完成 代碼如下：PROC FREQ DATA＝IREAD．DA_FIN_200909； TABLE 變數1 變數2．．．/MISSING； RUN；查看每個字元型變數的頻數分布，發現異常的值。