檢測離群點方法

『壹』 如何判別測量數據中是否有異常值

一般異常值的檢測方法有基於統計的方法，基於聚類的方法，以及一些專門檢測異常值的方法等，下面對這些方法進行相關的介紹。

1. 簡單統計

如果使用pandas，我們可以直接使用describe()來觀察數據的統計性描述（只是粗略的觀察一些統計量），不過統計數據為連續型的，如下：

df.describe()紅色箭頭所指就是異常值。

以上是常用到的判斷異常值的簡單方法。下面來介紹一些較為復雜的檢測異常值演算法，由於涉及內容較多，僅介紹核心思想，感興趣的朋友可自行深入研究。

4. 基於模型檢測

這種方法一般會構建一個概率分布模型，並計算對象符合該模型的概率，把具有低概率的對象視為異常點。如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；如果模型是回歸時，異常是相對遠離預測值的對象。

離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。

比如特徵工程中的RobustScaler方法，在做數據特徵值縮放的時候，它會利用數據特徵的分位數分布，將數據根據分位數劃分為多段，只取中間段來做縮放，比如只取25%分位數到75%分位數的數據做縮放。這樣減小了異常數據的影響。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

5. 基於近鄰度的離群點檢測

統計方法是利用數據的分布來觀察異常值，一些方法甚至需要一些分布條件，而在實際中數據的分布很難達到一些假設條件，在使用上有一定的局限性。

確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。這種方法比統計學方法更一般、更容易使用，因為一個對象的離群點得分由到它的k-最近鄰（KNN）的距離給定。

需要注意的是：離群點得分對k的取值高度敏感。如果k太小，則少量的鄰近離群點可能導致較低的離群點得分；如果K太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

5. 基於密度的離群點檢測

從基於密度的觀點來說，離群點是在低密度區域中的對象。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。

優缺點：（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

6. 基於聚類的方法來做異常點檢測

基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇，那麼該對象屬於離群點。

離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。這也是k-means演算法的缺點，對離群點敏感。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。

優缺點：（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；（3）產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

7. 專門的離群點檢測

其實以上說到聚類方法的本意是是無監督分類，並不是為了尋找離群點的，只是恰好它的功能可以實現離群點的檢測，算是一個衍生的功能。

『貳』 在標准差未知情況下離群值檢測可以用f檢驗法嗎

摘要 當離群值數量僅為1時，格魯布斯法綜合犯錯的可能性最低，國際標准化組織(International Standards Organization)和美國材料試驗協會(The American Society for Testing and Materials)均推薦適用格魯布斯法[7]。在國標[13]中，離群值的個數為1時，選用的方法是格魯布斯法和狄克遜法。當限定檢出離群值的個數大於1時，格魯布斯法檢驗的結果不是最優的，一般採用偏度-峰度檢驗法或者狄克遜檢驗法。但是偏度-峰度檢驗法由於計算工作量大，進行異常值的連續檢驗的時候還有可能發生「判多為少」或「判有為無」錯誤的可能，並未能廣泛應用。

『叄』 什麼是基於聚類的離群點監測方法

本論文提出來一個聚類方法用以檢測離群點。通過使用k均值聚類演算法來從數據集中劃分聚類。離聚類中心比較近的點不太可能是離群點，同時我們可以從聚類中去除掉這些點。接下來計算剩下的點和離群點的距離。需要計算的離群點度的降低可能是由於一些點的去除。我們聲明離群度最高的點作為離群點。實驗數據使用真實數據集，並論證得知，即使所計算的數據比較少，但所提出的方法比現存的方法優越。

『肆』 離群因子怎麼算

離群因子演算法主要有基於統計、聚類、分類、資訊理論、距離、密度等相關的方法。
其中演算法思想是局部離群因子(LOF，又叫局部異常因子)演算法是Breunig於2000年提出的一種基於密度的局部離群點檢測演算法，該方法適用於不同類簇密度分散情況迥異的數據。如下圖中，集合C1是低密度區域，集合C2是高密度區域，依據傳統的基於密度的離群點檢測演算法，點p與C2中鄰近點的距離小於C1中任何一個數據點與其鄰近點的距離，點p會被看作是正常的點，而在局部來看，點p卻是事實上的孤立點，LOF演算法即可以有效地實現對該種情形的離群點檢測。

『伍』 如何使用分類,關聯規則挖掘和離群點檢測為企業服務

摘要 聚類:聚類是無監督的，在沒有指定屬性的情況下進行，從而發現不同群體，比如用於網路社區發現

『陸』 常用的數據凈化方法

鼠尾草煙熏凈化法

圖片來源於網路
鼠尾草的煙熏凈化法，實在是我的大愛。鼠尾草是許多儀式中的一種神聖元素。無論是在進行魔法儀式，開牌儀式，塔羅占卜、冥想之前，水晶，日常的空間凈化...我幾乎都會用到鼠尾草來進行凈化。同時鼠尾草也可以用來做茶喝或是用來製作精油。當然還有用鼠尾草、雪松、薰衣草等凈化類草葯手工製作而成的草葯棒。利用點燃後的煙霧把負能量帶走空間區域或是物品本身。用鼠尾草的煙熏來凈化，是非常快速而有效的方法。

圖片來源於網路
鼠尾草煙熏凈化使用方法：

1、在開始鼠尾草煙熏凈化前，把門窗關好，然後點燃鼠尾草，把它放在一個貝殼或防火防燙的容器里（因為在燃燒的過程中會產生灰燼）。

2、讓它的明火自然滅火，不要用嘴吹熄，我們主要是利用鼠尾草的煙來進行空間的凈化。

3、使用者首先凈化自身的能量。

4、然後在從入戶門處開始順時針方向繞著房間凈化。注意要關掉風扇或是空調，風扇的風有可能會把灰燼吹得到處都是。

5、把鼠尾草的煙霧帶入整個房屋裡，特別要注意是一些陰暗的角落可以讓煙熏久一點。如果室內空氣流通得好，你走動，基本上煙也會跟著流動。某些角落也是可以利用一根羽毛，把煙輕輕扇過去。

個人使用心得：衣櫃也是可以煙熏的，不過你的衣服上可能會留下鼠尾草的氣味，視情況而定吧，也可以用別的凈化方式代替。
6、最後，最重要的一步是，當你把鼠尾草的煙帶到房屋的每個角落後，讓這股煙停留在室內8-10分鍾（視情況而定時長），然後把窗戶打開，讓煙霧帶走這些負能量流出窗外。

7、同時，灰燼的處理，把它們裝起來，當天就扔掉或是把它們沖到馬桶里。因為灰燼也吸附了負能量了，不要留它們過夜。

圖片來源網路
通常你在市面上買到的鼠尾草可以作凈化來用。

不過題外話，小知識，墨西哥鼠尾草是有致幻性，被禁止的。

要注意的是，燒鼠尾草也要看看同屋的人能不能聞鼠尾草這個味。因為鼠尾草的味道很特別，有些人是特別喜歡這個味道的，有些人是對這個味不喜歡或是敏感的。所以如果你是居住在大家庭里，也要顧及其他人的情況。

另外，鼠尾草不能燒太多，會上頭。第一次使用鼠尾草凈化需要用足量，之後減少用量。一般情況20平的空間，20-30g可以了，太多也浪費。當然如果你覺得空間負能量實在太多，可以一把一把的土豪燒。

二、魔法蠟燭火焰凈化法

我在使用魔法蠟燭的火焰凈化
用帶有凈化功效的魔法蠟燭來進行能量的凈化，也是我的最愛之一。

因為魔法蠟燭自身就具備了土、火、風、水四大元素。另外再有 精神 這個第五元素的注入。讓火焰的光和熱驅散和燃燒任何積聚的負能量。

通常在進行任何儀式前或者是點燃其他功效的魔法蠟燭，使用帶有凈化功效的魔法蠟燭，把周圍的能量先進行凈化，再來開啟，效果會大大增加。

進行儀式或是放咒語時，你也可以在你的儀式空間東南西北四個角落裡點燃蠟燭，幫助你建立神聖空間。

手工製作的《三倍能量凈化&補充能量》靈氣魔法蠟燭
對於能量工作者來說，及時清理凈化自身及周圍的能量太重要了，無論是滿月凈化儀式還是日常凈化，我都超愛點燃這款紅色莉莉周手工製作的《三倍能量凈化&補充能量》靈氣魔法蠟燭。它不僅有凈化能量的功效，同時也協助你補充能量。提升你周圍的能量空間。同時也可以提升你的直覺力和占卜力。

『柒』 如何判斷和處理離群點

用殘差分析，常用標准化殘差圖，以本人未在正負3個標准差意外區域出現的點為離群點，正負2個標准差以外為可能離群點。

『捌』 離群點怎麼區分方向

用殘差分析，常用標准化殘差圖。
以本人未在正負3個標准差意外區域出現的點為離群點，正負2個標准差以外為可能離群點。
也可以用公式取得每個值與均值的絕對差值，至於絕對差值多大的時候判斷為離群值。

『玖』 ks檢驗如何踢出離群值

在大多數研究領域中，離群點也被稱為異常值，在數據挖掘中，往往是要剔除掉這些數據，可是離群點的出現也是有一點的意義的。比如下圖。該圖是一個用戶一年中的用水量情況，很明顯的可以看出，有一天的數據是明顯不正常的，該點是離群點。在我們研究他的用水規律時，該點是理當去除的。可是，它也提供給我們一個信息，在數據統計方式正確的情況下，那天的用水出現了不合理性（可能是用戶忘記關水、水表異常等）。應當利用起這些異常。離群點的檢測的意義也就存在了。

『拾』 用spss怎麼找出離群值和異常值

第一步：異常值檢測
異常值的檢驗有很多種方法，最常見的是圖示法，也有使用分析方法進行探索，如下說明。
箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據；
散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據；
描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常；
其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。
02
第二步：異常值判定
上述已經說明異常值會帶來嚴重的影響，扭曲數據結論等。那麼首先需要設定異常值的標准，然後再對其進行處理。異常值的判定標准並不統一，更多是通過人為標准進行設定，SPSSAU提供以下幾類判定規則：
缺失數字
小於設定標準的數字
大於設定標準的數字
大於3個標准差

03
第三步：異常值處理
完成異常值的判定之後，接著需要進行處理；SPSSAU提供兩類處理方式，分別為：
1、設置為Null值；此類處理最簡單，而且絕大多數情況下均使用此類處理；直接將異常值「幹掉」，相當於沒有該異常值。如果異常值不多時建議使用此類方法
2、填補；如果異常值非常多時，則可能需要進行填補設置，SPSSAU共提供平均值，中位數，眾數和隨機數共四種填補方式。建議使用平均值填補方式。