定義正常集的異常檢測的方法

⑴ 「宏觀網路流量」的定義是什麼有哪些異常檢測方法

一種互聯網宏觀流量異常檢測方法(2007-11-7 10:37) 摘要：網路流量異常指網路中流量不規則地顯著變化。網路短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網路路由異常等全局事件都能夠引起網路的異常。網路異常的檢測和分析對於網路安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含雜訊的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網路異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網路行為的子空間，並將流量向量影射在正常子空間中，使用基於距離的度量來檢測宏觀網路流量異常事件。公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網路應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網路安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網路安全監測平台，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵屍程序，被境外約1.6萬個主機進行控制。黑客利用木馬、僵屍網路等技術操縱數萬甚至上百萬台被入侵的計算機，釋放惡意代碼、發送垃圾郵件，並實施分布式拒絕服務攻擊，這對包括骨幹網在內的整個互聯網網路帶來嚴重的威脅。由數萬台機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨幹網的帶寬，從而造成局部的互聯網崩潰。由於政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨幹網路的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。針對目前互聯網宏觀網路安全需求，本文研究並提出一種宏觀網路流量異常檢測方法，能夠在骨幹網路層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網路防禦贏得時間。1 網路流量異常檢測研究現狀在骨幹網路層面進行宏觀網路流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討並提出了多種檢測方法[1]。經典的流量監測方法是基於閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用於實時檢測，然而它作為一種實用的檢測手段時，需要結合網路流量的特點進行修正和改進。另一種常用的方法是基於統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合並窗口，每個窗口都用自回歸模型擬合，並計算各窗口序列殘差的聯合似然比，然後與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對於流量的突變檢測比較有效，但是由於它的閾值不是自動選取，並且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。最近有許多學者研究了基於變換域進行流量異常檢測的方法[3]，基於變換域的方法通常將時域的流量信號變換到頻域或者小波域，然後依據變換後的空間特徵進行異常監測。P. Barford等人[4]將小波分析理論運用於流量異常檢測，並給出了基於其理論的4類異常結果，但該方法的計算過於復雜，不適於在高速骨幹網上進行實時檢測。Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變數來重構網路流的特徵，並以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基於Markov模型的網路狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網路特徵，當到來的流量特徵與期望特徵產生偏差時進行報警。又如LERAD檢測[8]，它是基於網路安全特徵的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然後建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，並對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網路中並不容易實現。隨著宏觀網路異常流量檢測成為網路安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網路異常監測的項目，並取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。針對宏觀網路異常流量監測的需要，CNCERT/CC部署運行863-917網路安全監測平台，採用分布式的架構，能夠通過多點對骨幹網路實現流量監測，通過分析協議、地址、埠、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基於863-917網路安全監測平台獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)位元組數、TCP報文數、數據報協議(UDP)位元組數、UDP報文數、其他流量位元組數、其他流量報文書、WEB流量位元組數、WEB流量報文數、TOP10個源IP占總位元組比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總位元組數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鍾產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由於在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變數反映原來變數的信息成為可能。本項目採用了主成份分析法對觀測數據進行數據降維和特徵提取，下面對該演算法的工作原理進行介紹。 2 主成分分析技術主成分分析是一種坐標變換的方法，將給定數據集的點映射到一個新軸上面，這些新軸稱為主成分。主成分在代數學上是p 個隨機變數X 1, X 2……X p 的一系列的線性組合，在幾何學中這些現線性組合代表選取一個新的坐標系，它是以X 1,X 2……X p 為坐標軸的原來坐標系旋轉得到。新坐標軸代表數據變異性最大的方向，並且提供對於協方差結果的一個較為簡單但更精練的刻畫。主成分只是依賴於X 1,X 2……X p 的協方差矩陣，它是通過一組變數的幾個線性組合來解釋這些變數的協方差結構，通常用於高維數據的解釋和數據的壓縮。通常p 個成分能夠完全地再現全系統的變異性，但是大部分的變異性常常能夠只用少量k 個主成分就能夠說明，在這種情況下，這k 個主成分中所包含的信息和那p 個原變數做包含的幾乎一樣多，於是可以使用k 個主成分來代替原來p 個初始的變數，並且由對p 個變數的n 次測量結果所組成的原始數據集合，能夠被壓縮成為對於k 個主成分的n 次測量結果進行分析。運用主成分分析的方法常常能夠揭示出一些先前不曾預料的關系，因而能夠對於數據給出一些不同尋常的解釋。當使用零均值的數據進行處理時，每一個主成分指向了變化最大的方向。主軸以變化量的大小為序，一個主成分捕捉到在一個軸向上最大變化的方向，另一個主成分捕捉到在正交方向上的另一個變化。設隨機向量X '=[X 1,X 1……X p ]有協方差矩陣∑,其特徵值λ1≥λ2……λp≥0。考慮線性組合：Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p從而得到：Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相關的Y 的線性組合，它們能夠使得方差盡可能大。第一主成分是有最大方差的線性組合，也即它能夠使得Var (Yi )=a i' ∑a i 最大化。我們只是關注有單位長度的系數向量，因此我們定義：第1主成分＝線性組合a 1'X，在a1'a 1=1時，它能夠使得Var (a1 'X )最大；第2主成分＝線性組合a 2 'X，在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0時，它能夠使得Var (a 2 'X )最大；第i 個主成分＝線性組合a i'X，在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )時，它能夠使得Var (a i'X )最大。由此可知主成分都是不相關的，它們的方差等於協方差矩陣的特徵值。總方差中屬於第k個主成分(被第k個主成分所解釋)的比例為：如果總方差相當大的部分歸屬於第1個、第2個或者前幾個成分，而p較大的時候，那麼前幾個主成分就能夠取代原來的p個變數來對於原有的數據矩陣進行解釋，而且信息損失不多。在本項目中，對於一個包含14個特徵的矩陣進行主成分分析可知，特徵的最大變化基本上能夠被2到3個主成分捕捉到，這種主成分變化曲線的陡降特性構成了劃分正常子空間和異常子空間的基礎。3 異常檢測演算法本項目的異常流量檢測過程分為3個階段：建模階段、檢測階段和評估階段。下面對每個階段的演算法進行詳細的介紹。3.1 建模階段本項目採用滑動時間窗口建模，將當前時刻前的72個樣本作為建模空間，這72個樣本的數據構成了一個數據矩陣X。在試驗中，矩陣的行向量由14個元素構成。主成份分為正常主成分和異常主成份，它們分別代表了網路中的正常流量和異常流量，二者的區別主要體現在變化趨勢上。正常主成份隨時間的變化較為平緩，呈現出明顯的周期性；異常主成份隨時間的變化幅度較大，呈現出較強的突發性。根據采樣數據，判斷正常主成分的演算法是：依據主成分和采樣數據計算出第一主成分變數，求第一主成分變數這72個數值的均值μ1和方差σ1，找出第一主成分變數中偏離均值最大的元素，判斷其偏離均值的程度是否超過了3σ1。如果第一主成分變數的最大偏離超過了閾值，取第一主成份為正常主成分，其他主成份均為異常主成分，取主成份轉換矩陣U =[L 1]；如果最大偏離未超過閾值，轉入判斷第下一主成分，最後取得U =[L 1……L i -1]。第一主成份具有較強的周期性，隨後的主成份的周期性漸弱，突發性漸強，這也體現了網路中正常流量和異常流量的差別。在得到主成份轉換矩陣U後，針對每一個采樣數據Sk =xk 1,xk 2……xk p )，將其主成份投影到p維空間進行重建，重建後的向量為：Tk =UU T (Sk -X )T計算該采樣數據重建前與重建後向量之間的歐氏距離，稱之為殘差：dk =||Sk -Tk ||根據采樣數據，我們分別計算72次采樣數據的殘差，然後求其均值μd 和標准差σd 。轉換矩陣U、殘差均值μd 、殘差標准差σd 是我們構造的網路流量模型，也是進行流量異常檢測的前提條件。 3.2 檢測階段在通過建模得到網路流量模型後，對於新的觀測向量N,(n 1,n 2……np )，採用與建模階段類似的分析方法，將其中心化：Nd =N -X然後將中心化後的向量投影到p維空間重建，並計算殘差：Td =UUTNdTd =||Nd -Td ||如果該觀測值正常，則重建前與重建後向量應該非常相似，計算出的殘差d 應該很小；如果觀測值代表的流量與建模時發生了明顯變化，則計算出的殘差值會較大。本項目利用如下演算法對殘差進行量化：3.3 評估階段評估階段的任務是根據當前觀測向量的量化值q (d )，判斷網路流量是否正常。根據經驗，如果|q (d )|<5，網路基本正常；如果5≤|q (d )|<10，網路輕度異常；如果10≤|q (d )|，網路重度異常。4 實驗結果分析利用863-917網路安全監測平台，對北京電信骨幹網流量進行持續監測，我們提取6小時的觀測數據，由於篇幅所限，我們給出圖1—4的時間序列曲線。由圖1—4可知單獨利用任何一個曲線都難以判定異常，而利用本演算法可以容易地標定異常發生的時間。本演算法計算結果如圖5所示，異常發生時間在圖5中標出。我們利用863-917平台的回溯功能對於異常發生時間進行進一步的分析，發現在標出的異常時刻，一個大規模的僵屍網路對網外的3個IP地址發起了大規模的拒絕服務攻擊。 5 結束語本文提出一種基於主成分分析的方法來劃分子空間，分析和發現網路中的異常事件。本方法能夠准確快速地標定異常發生的時間點，從而幫助網路安全應急響應部門及時發現宏觀網路的流量異常狀況，為迅速解決網路異常贏得時間。試驗表明，我們採用的14個特徵構成的分析矩陣具有較好的識別准確率和分析效率，我們接下來將會繼續尋找更具有代表性的特徵來構成數據矩陣，並研究更好的特徵矩陣構造方法來進一步提高此方法的識別率，並將本方法推廣到短時分析中。6 參考文獻[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC』04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM』03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.

⑵ 異常檢測的相關定義

1、誤用檢測是指通過攻擊行為的特徵庫,採用特徵匹配的方法確定攻擊事件.誤用檢測的優點是檢測的誤報率低,檢測快,但誤用檢測通常不能發現攻擊特徵庫中沒有事先指定的攻擊行為,所以無法檢測層出不窮的新攻擊
2、異常檢測是指根據非正常行為(系統或用戶)和使用計算機非正常資源來檢測入侵行為.其關鍵在於建立用戶及系統正常行為輪廓(Profile),檢測實際活動以判斷是否背離正常輪廓
3、異常檢測是指將用戶正常的習慣行為特徵存儲在資料庫中,然後將用戶當前的行為特徵與特徵資料庫中的特徵進行比較,如果兩者的偏差足夠大,則說明發生了異常
4、異常檢測是指利用定量的方式來描述可接受的行為特徵,以區分和正常行為相違背的、非正常的行為特徵來檢測入侵
5、基於行為的入侵檢測方法,通過將過去觀察到的正常行為與受到攻擊時的行為相比較,根據使用者的異常行為或資源的異常使用狀況來判斷是否發生入侵活動,所以也被稱為異常檢測
6、統計分析亦稱為異常檢測,即按統計規律進行入侵檢測.統計分析先對審計數據進行分析,若發現其行為違背了系統預計,則被認為是濫用行為
7、統計分析亦稱為異常檢測.通過將正常的網路的流量.網路延時以及不同應用的網路特性(如時段性)統計分析後作為參照值,若收集到的信息在參照值范圍之外,則認為有入侵行為
8、異常檢測（Anomaly-based detection）方法首先定義一組系統處於「正常」情況時的數據，如CPU利用率、內存利用率、文件校驗和等然後進行分析確定是否出現異常。

⑶ 大數據科學家需要掌握的幾種異常值檢測方法

引言

異常值檢測與告警一直是工業界非常關注的問題，自動准確地檢測出系統的異常值，不僅可以節約大量的人力物力，還能盡早發現系統的異常情況，挽回不必要的損失。個推也非常重視大數據中的異常值檢測，例如在運維部門的流量管理業務中，個推很早便展開了對異常值檢測的實踐，也因此積累了較為豐富的經驗。本文將從以下幾個方面介紹異常值檢測。

1、異常值檢測研究背景

2、異常值檢測方法原理

3、異常值檢測應用實踐

異常值檢測研究背景

異常值，故名思議就是不同於正常值的值。 在數學上，可以用離群點來表述，這樣便可以將異常值檢測問題轉化為數學問題來求解。

異常值檢測在很多場景都有廣泛的應用，比如：

1、流量監測

互聯網上某些伺服器的訪問量，可能具有周期性或趨勢性：一般情況下都是相對平穩的，但是當受到某些黑客攻擊後，其訪問量可能發生顯著的變化，及早發現這些異常變化對企業而言有著很好的預防告警作用。

2、金融風控

正常賬戶中，用戶的轉賬行為一般屬於低頻事件，但在某些金融詐騙案中，一些嫌犯的賬戶就可能會出現高頻的轉賬行為，異常檢測系統如果能發現這些異常行為，及時採取相關措施，則會規避不少損失。

3、機器故障檢測

一個運行中的流水線，可能會裝有不同的感測器用來監測運行中的機器，這些感測器數據就反應了機器運行的狀態，這些實時的監測數據具有數據量大、維度廣的特點，用人工盯著看的話成本會非常高，高效的自動異常檢測演算法將能很好地解決這一問題。

異常值檢測方法原理

本文主要將異常值檢測方法分為兩大類：一類是基於統計的異常值檢測，另一類是基於模型的異常值檢測。

基於統計的方法  

基於模型的方法

1、基於統計的異常值檢測方法

常見的基於統計的異常值檢測方法有以下2種，一種是基於3σ法則，一種是基於箱體圖。

3σ法則  

箱體圖

3σ法則是指在樣本服從正態分布時，一般可認為小於μ-3σ或者大於μ+3σ的樣本值為異常樣本，其中μ為樣本均值，σ為樣本標准差。在實際使用中，我們雖然不知道樣本的真實分布，但只要真實分布與正太分布相差不是太大，該經驗法則在大部分情況下便是適用的。

箱體圖也是一種比較常見的異常值檢測方法，一般取所有樣本的25%分位點Q1和75%分位點Q3，兩者之間的距離為箱體的長度IQR，可認為小於Q1-1.5IQR或者大於Q3+1.5IQR的樣本值為異常樣本。

基於統計的異常檢測往往具有計算簡單、有堅實的統計學基礎等特點，但缺點也非常明顯，例如需要大量的樣本數據進行統計，難以對高維樣本數據進行異常值檢測等。

2、基於模型的異常值檢測

通常可將異常值檢測看作是一個二分類問題，即將所有樣本分為正常樣本和異常樣本，但這和常規的二分類問題又有所區別，常規的二分類一般要求正負樣本是均衡的，如果正負樣本不均勻的話，訓練結果往往會不太好。但在異常值檢測問題中，往往面臨著正（正常值）負（異常值）樣本不均勻的問題，異常值通常比正常值要少得多，因此需要對常規的二分類模型做一些改進。

基於模型的異常值檢測一般可分為有監督模型異常值檢測和無監督模型異常值檢測，比較典型的有監督模型如oneclassSVM、基於神經網路的自編碼器等。 oneclassSVM就是在經典的SVM基礎上改進而來，它用一個超球面替代了超平面，超球面以內的值為正常值，超球面以外的值為異常值。

經典的SVM  

1

 基於模型的方法

2

基於神經網路的自編碼器結構如下圖所示。

自編碼器（AE）

將正常樣本用於模型訓練，輸入與輸出之間的損失函數可採用常見的均方誤差，因此檢測過程中，當正常樣本輸入時，均方誤差會較小，當異常樣本輸入時，均方誤差會較大，設置合適的閾值便可將異常樣本檢測出來。但該方法也有缺點，就是對於訓練樣本比較相近的正常樣本判別較好，但若正常樣本與訓練樣本相差較大，則可能會導致模型誤判。

無監督模型的異常值檢測是異常值檢測中的主流方法，因為異常值的標注成本往往較高，另外異常值的產生往往無法預料，因此有些異常值可能在過去的樣本中根本沒有出現過， 這將導致某些異常樣本無法標注，這也是有監督模型的局限性所在。 較為常見的無監督異常值檢測模型有密度聚類（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一種典型的無監督聚類方法，對某些類型的異常值檢測也能起到不錯的效果。該演算法原理網上資料較多，本文不作詳細介紹。

IF演算法最早由南京大學人工智慧學院院長周志華的團隊提出，是一種非常高效的異常值檢測方法，該方法不需要對樣本數據做任何先驗的假設，只需基於這樣一個事實——異常值只是少數，並且它們具有與正常值非常不同的屬性值。與隨機森林由大量決策樹組成一樣，IsolationForest也由大量的樹組成。IsolationForest中的樹叫isolation tree，簡稱iTree。iTree樹和決策樹不太一樣，其構建過程也比決策樹簡單，因為其中就是一個完全隨機的過程。

假設數據集有N條數據，構建一顆iTree時，從N條數據中均勻抽樣(一般是無放回抽樣)出n個樣本出來，作為這顆樹的訓練樣本。

在樣本中，隨機選一個特徵，並在這個特徵的所有值范圍內（最小值與最大值之間）隨機選一個值，對樣本進行二叉劃分，將樣本中小於該值的劃分到節點的左邊，大於等於該值的劃分到節點的右邊。

這樣得到了一個分裂條件和左、右兩邊的數據集，然後分別在左右兩邊的數據集上重復上面的過程，直至達到終止條件。 終止條件有兩個，一個是數據本身不可再分(只包括一個樣本，或者全部樣本相同)，另外一個是樹的高度達到log2(n)。 不同於決策樹，iTree在演算法裡面已經限制了樹的高度。不限制雖然也可行，但出於效率考慮，演算法一般要求高度達到log2(n)深度即可。

把所有的iTree樹構建好了，就可以對測試數據進行預測了。預測的過程就是把測試數據在iTree樹上沿對應的條件分支往下走，直到達到葉子節點，並記錄這過程中經過的路徑長度h(x)，即從根節點，穿過中間的節點，最後到達葉子節點，所走過的邊的數量(path length)。最後，將h(x)帶入公式，其中E(.)表示計算期望，c(n)表示當樣本數量為n時，路徑長度的平均值，從而便可計算出每條待測數據的異常分數s(Anomaly Score)。異常分數s具有如下性質：

1）如果分數s越接近1，則該樣本是異常值的可能性越高；

2）如果分數s越接近0，則該樣本是正常值的可能性越高；

RCF演算法與IF演算法思想上是比較類似的，前者可以看成是在IF演算法上做了一些改進。針對IF演算法中沒有考慮到的時間序列因素，RCF演算法考慮了該因素，並且在數據樣本采樣策略上作出了一些改進，使得異常值檢測相對IF演算法變得更加准確和高效，並能更好地應用於流式數據檢測。

IF演算法

RCF演算法

上圖展示了IF演算法和RCF演算法對於異常值檢測的異同。我們可以看出原始數據中有兩個突變異常數據值，對於後一個較大的突變異常值，IF演算法和RCF演算法都檢測了出來，但對於前一個較小的突變異常值，IF演算法沒有檢測出來，而RCF演算法依然檢測了出來，這意味著RCF有更好的異常值檢測性能。

異常值檢測應用實踐

理論還需結合實踐，下面我們將以某應用從2016.08.16至2019.09.21的日活變化情況為例，對異常值檢測的實際應用場景予以介紹：

從上圖中可以看出該應用的日活存在著一些顯著的異常值（比如紅色圓圈部分），這些異常值可能由於活動促銷或者更新迭代出現bug導致日活出現了比較明顯的波動。下面分別用基於統計的方法和基於模型的方法對該日活序列數據進行異常值檢測。

基於3σ法則（基於統計）

RCF演算法（基於模型）

從圖中可以看出，對於較大的突變異常值，3σ法則和RCF演算法都能較好地檢測出來， 但對於較小的突變異常值，RCF演算法則要表現得更好。

總結

上文為大家講解了異常值檢測的方法原理以及應用實踐。綜合來看，異常值檢測演算法多種多樣 ，每一種都有自己的優缺點和適用范圍，很難直接判斷哪一種異常檢測演算法是最佳的， 具體在實戰中，我們需要根據自身業務的特點，比如對計算量的要求、對異常值的容忍度等，選擇合適的異常值檢測演算法。

接下來，個推也會結合自身實踐，在大數據異常檢測方面不斷深耕，繼續優化演算法模型在不同業務場景中的性能，持續為開發者們分享前沿的理念與最新的實踐方案。

⑷ 綜述：廣義的分布外檢測（異常檢測、開集識別、OOD檢測）

Generalized Out-of-Distribution Detection: A Survey Jingkang Yang, Kaiyang Zhou, Yixuan Li, and Ziwei Liu https://github.com/Jingkang50/OODSurvey

分布外（Out-Of-Distribution，OOD）檢測對確保機器學習系統的可靠性和安全性至關重要。例如，在自動駕駛中，當遇到它從未見過、無法給出安全決策的非常規情形或物體，我們需要駕駛系統發出警告並且將控制權交給人類。自2017年被提出起，這個問題越來越受研究者關注，各種解決方案層出不窮，大致包括：基於分類的、基於密度的、基於重構的、基於距離的方法。與此同時，其他幾個問題在動機和方法上與分布外檢測緊密相關，這些問題包括：異常檢測（Anomaly Detection，AD）、新類檢測（Novelty Detection）、開集識別（Open Set Recognition，OSR）和離群檢測（Outlier Detection，OD）。盡管他們各自定義和問題設定不同，這些問題經常使讀者和實踐者感到困惑，這導致有些現有工作誤用了這些術語。實際上，AD、ND、OSR、OOD、OD這五個問題能夠統一在廣義的分布外檢測框架下，都可以視作分布外檢測的特例或子任務，並且能夠輕易地被區分。這篇綜述通過總結最新的技術發展對這五個問題做了深入的回顧，並以該領域的開放挑戰和潛在的研究方向作結。

可信的視覺識別系統不僅僅在已知的情境下能給出精確預測，還應該能檢測到未知的樣本並且丟棄或將它們交給用戶來做安全地處理。

比如，一個訓練良好的食物分類器應該丟棄像用戶自拍照之類的非食物圖片，而不是胡亂判定其屬於某已知的食物類別。在安全要求極高的應用中，比如無人駕駛，系統應該在它碰到不尋常的、未在訓練中見到的情形或物體時發出警告並將控制權交給司機。

大多數現有機器學習模型都基於封閉世界假設（the closed-world assumption）來訓練，即測試集和訓練集獨立同分布，或者說兩者來源於同一分布（in-distribution）。然而，當模型被部署在開放世界場景（open-world scenario）中，測試樣本的分布可以是取自不同於訓練集分布的分布的（out of distribution），因而需要被謹慎處理。分布的變化可能是語義漂移（比如，OOD樣本取自別的類別）、協變數漂移（也稱輸入漂移，比如OOD樣本取自其他領域？？）。

只考慮語義漂移和協變數漂移兩類漂移。

異常檢測目的在於在測試階段檢測異常的樣本，「異常」指的是偏離預定義的「正常」。這種偏離可能是協變數漂移或是語義漂移導致的。異常檢測可以分為兩個子任務：

與異常檢測的區別 ：1） 動機上，新類檢測中並不像異常檢測把沒見過的「新」樣本看做錯誤的或是有害的，而是將珍視這些新樣本為後續模型的學習資源；2）新類檢測首要關注的是語義漂移；3）新類檢測中，沒有限制ID樣本屬於單個類，在訓練集中可以有多個類別的樣本。

新類檢測目的在於檢測出不屬於任何訓練類別的測試樣本。檢測到的新奇樣本通常預備用於未來程序的構建，比如特異性更強的分析、當前模型的增量學習等。依據訓練類別數量的差異，新類檢測分為：

OSR需要一個多類別分類器來同時1）精確地分類 訓練類別的 測試樣本（ID）；2）識別出測試樣本中 不屬於訓練類別 的樣本（OOD）。

OSR = multi-class ND

需要模型拒絕標簽遷移的樣本以保證預測可靠性和安全性

分布外檢測目的在於檢測測試樣本

當某個樣本顯著區別於其他的樣本時，認為它是「離群」的。在異常檢測、新類檢測、開集識別、分布外檢測的問題設定中，都存在這訓練-測試的流程，要挑出測試中出現的不屬於訓練分布的樣本。

而離群檢測無「訓練分布」、「測試分布」，而是直接挑出所有可見樣本中顯著區別於其他的那些樣本。

給定同構的ID數據，最直接的方法是1）基於密度的方法，這些方法估計ID的密度，拒絕那些偏離估計的OOD的測試樣本。其他的方法包括：2）依靠圖片重構的質量來識別異常樣本，3）直接學習一個決策邊界來區分ID和OOD樣本，4）基於距離的方法，5）基於元學習的方法

基於密度的方法嘗試去建模正常數據（ID數據）的分布，這種做法基於一個實踐假設：異常的測試樣本在估計的密度模型下游較低的概率值，而正常樣本概率值較高。

參數密度估計假設ID樣本的密度能夠被表示為某種定義好的分布。一種方法是在訓練數據上擬合一個多變數高斯分布，並且度量測試樣本與訓練樣本的期望之間的馬氏距離（協方差距離，計算兩個未知樣本集的相似度的方法。與歐氏距離不同的是它考慮到各種特性之間的聯系）。其他的工作採用了更復雜的假設，認為訓練分布是混合的高斯分布或是泊松分布等。

非參數密度估計考慮了更貼合實際的情形：預定義的分布不能夠建模真實分布。可以簡單地用直方圖對訓練分布進行建模。核密度估計（KDE）進一步使用核函數作為離散直方圖的連續替代版，它可以靈活地使用點權重和帶寬去控制估計的分布。

雖然經典的密度估計方法在很多任務上獲得了很好的AD性能，但它們更適合低維任務。
對於計算機視覺任務中的高維數據，這些方法的計算性和可伸縮性受到影響。為緩解維數災難，有些方法通過特徵工程降維[277]，[278]。

通過由潛在嵌入重建出輸入，自編碼器能學到無標簽數據的高效表達。變分自編碼器將輸入的圖片編碼為服從高斯分布的潛在向量。習得的潛在嵌入可被視為輸入的低維表示。傳統密度估計方法可以應用在這些深度表示之上。

生成對抗網路由一個生成網路和一個判別網路構成，兩者在零和博弈中相互競爭。典型地，生成網路學習從潛在空間到所研究數據分布的映射，而判別網路試圖分辨生成器生成的數據和真實數據。然而，不同於基於自編碼器/變分自編碼器的範式，少了一個編碼器使得GAN難以直接為一張輸入圖片找到相應的嵌入。針對這個問題，ADGAN [90] 對一個給定的樣本，在潛在空間搜索一個好的表示。如果找不到這樣的表示，這個樣本被認為是異常的。該方法計算代價極高。

規范化的流描述了一個概率分布經過一系列可逆映射的轉化過程。通過重復施加變數變化的規則，初始的密度「流」過了一系列可逆映射。因此，使用規范化的流的方法能夠直接估計輸入空間的可能性。基於流的方法有優雅的數學表示，但是它們同樣僅對低維特徵敏感。若不進行降維，基於流的方法計算代價高。

除通過生成式模型獲取可視化嵌入外，一些方法主要通過擴充模型容量來增加提取到的特徵的表示能力，這或許可以讓正常（ID）能被更精確地特徵化為密度估計。這些策略包括數據增強，對抗訓練，蒸餾，損失函數增強，使用淺表/局部特徵。

基於能量的方法使用一個標量能量評分來表述變數概率密度，這個標量採用非標准化的負對數概率，

然而，和標準的深度學習模型相比，訓練基於能量的方法代價昂貴，因為馬爾可夫鏈蒙特卡羅法（MCMC，在概率空間，通過隨機采樣估算興趣參數的後驗分布）采樣和估計需要積分運算。

為解決這個難題，研究者提出了評分匹配方法和隨機梯度之類的方法來支持高效訓練。

現有工作也探索了使用頻域分析方法做異常檢測。人類通過圖片的低頻信息來理解圖片，而CNN更多依賴高頻信息來做決策。人們提出了CNN核平滑和譜引導的數據增強之類的方法去抑制高頻分量的影響。還有一些工作發現，對低頻分量的對抗攻擊也很難被檢測到，因此提出

基於頻率的方法專注於感官異常檢測（尤其是檢測對抗樣本），或許不適用於語義異常檢測。

基於重構的方法的核心在於在ID數據上訓練得到的編解碼器（encoder-decoder）框架通常對ID和OOD樣本返回不同的效果。

模型表現的差異可以被用作異常檢測的指標。模型表現的差異可以用特徵空間的差異或是重構誤差來度量。

系數重構假定每個正常樣本都能被有限個基礎函數精確重構，而異常數據的重構開銷則更大，因此生成了稠密表示。稀疏表示的典型技巧包括基於L1正則的核PCA和低階嵌入網路。

重構誤差方法依賴於以下假設：在正常數據上訓練得到的重構模型在輸入為正常測試樣本時會輸出更高質量的結果。深度重構模型（包括自編碼器AE、變分自編碼器VAE、生成對抗網路GAN和U-Net等）都能夠被用作這類方法的backbone。

除去這種結合AE/VAE和重構誤差這種標准做法，其他方法使用了更加精細的策略，比如通過memorized normality重構，調整模型架構、部分/有條件的重構。

在半監督設定下的異常檢測中，CoRA分別在ID樣本和OOD樣本上訓練，得到兩個自編碼器。這兩個自編碼器的重構誤差被用作異常檢測的指標。

GAN中的判別器本質上是 通過計算重構誤差 實現異常檢測。更進一步，GAN的變種，比如去雜訊的GAN和類別-條件GAN通過 增加重構難度 獲得了更好的性能。有些方法 利用重構圖片在下游任務中的表現來進一步放大異常樣本的重構誤差 。集成也能夠優化模型性能。

異常檢測、單類別的新類檢測通常被形式化為無監督學習問題，將所有的ID樣本看做一類。

【283】做了完全有監督的異常檢測

半監督的異常檢測中，模型訓練時用到了無標簽數據。

PU學習針對這個問題被提出

自監督方法3.3.3

單個類別分類直接學到一個決策邊界

未完成

共性：ID樣本的類別（訓練類別）為多個。

差異：開集識別還需要精確地給ID樣本分類，而新類檢測只需得到區分ID/OOD的二分類器。

由於開集識別和多類別新類檢測的訓練類別為多個，大多數方法都是基於分類的。其餘方法包括基於ID原型的以及基於重構的。極少數模型是基於密度的。

為了解決

開集識別和多類新類檢測都關注ID樣本包含多個類別的情形。分類問題中，一般採用獨熱編碼來編碼類別信息。然而，獨熱編碼忽略了類別間的內在聯系。舉例來說，「狗」-「貓」，「狗」-「車」之間有相同的距離顯然不合情理。有些工作考慮這一點，嘗試利用新類的標簽空間上的信息來解決這個新類檢測問題。重分配大的語義空間，形成已知類別的層次化分類

基於標簽組織重設，自上而下的分類策略和分組softmax訓練被證實有效。應一組工作使用詞向量嵌入來自動地構建標簽空間。【169】中稀疏獨熱標簽被幾組產生自不同NLP模型的稠密詞向量替代，形成了多個回歸頭來做魯棒的訓練。

測試時，標簽（同所有不同頭給出的嵌入向量距離最小的標簽被作為預測結果輸出，

如果這個最小距離超出閾值，這個樣本被分類為「新」。近期工作進一步採用語言-圖片預訓練模型輸出的特徵來更好地檢測新類，圖片編碼空間中也包含來自標簽空間的豐富特徵。）

基於距離的開集識別方法需要「原型」來實現class-conditional。維持ID樣本的分類性能。

基於類別的聚類和原型（prototyping）操作在分類器提取到的視覺特徵上進行。

OOD樣本能夠通過計算樣本與聚類之間的距離而被識別。

有些方法還引入了對比學習來為已知類別學到更加緊密的聚類，從而拉遠ID和OOD樣本之間的距離。

CROSR【177】通過拼接分類器和用於距離計算的重構模型給出的可視化嵌入來在拓展的特徵空間中得到強化的特徵。除了使用分類器給出的特徵，GMVAE【178】使用重構VAE來提取特徵，將訓練集的嵌入建模為一個多中心的混合高斯分布以便後續基於距離的操作。使用最近鄰的分類器也適用於開集識別問題。通過存儲訓練樣本，最近鄰距離比值被用於在測試中識別未知樣本。

基於重構的方法希望ID和OOD樣本被重構時表現不同。這種差異能夠在潛在特徵空間或重構圖片的像素空間中被捕捉到。

通過將已知類別的圖片轉化為稀疏表示，開集樣本由於相對稠密能被識別出。用於稀疏編碼的技巧包括：疏密指數（sparsity concentration index）【180】和核虛空間方法（kernel null space method）【181，182】。

通過固定在ID樣本訓練得到的多分類視覺編碼器來維持在ID樣本上的分類性能，C2AE訓練一個以表情按向量為條件的解碼器，使用極值理論估計重構後的圖片來區分未知類別。後續的工作使用條件高斯分布，使得不同潛在特徵逼近類內（class-wise）高斯模型，以達到在分類已知類別樣本的同時能拒絕未知類別樣本。其他方法生成反事實（counterfactual）圖片來幫助模型更關注語義。對抗防禦【186】也以這種思路去增強模型魯棒性。

後處理檢測的方法優點在於無需修改訓練程序和目標就可以輕易應用。這一點對現實生產環境中的OOD檢測方法很重要。早期的ODIN是一個使用temperature scaling和輸入擾動來放大ID/OOD差別的後處理方法。該方法中，一個足夠大的temperature有很強的平滑作用，能夠將softmax值轉換到logit空間（），從而有效區分ID和OOD樣本。注意這種方式與信心校準不同，它採用了更溫和的T

而校準更關注表達ID樣本真實的正確概率

ODIN的評分最大化了ID和OOD樣本之間的差異，可能從預測信心的角度看不再有意義。

基於這個見解，近期【189】提出使用能量分值來做OOD檢測，該方法不需要超參數並且性能與ODIN相當甚至更好。能量函數將logit輸出通過便捷的 logsumexp 運算符映射為標量。能量值相對低的測試樣本被認為是ID的，反之為OOD。

【55】進一步提出了聯合能量值（JointEnergy score）

為OOD檢測定製的基於信心的方法能夠通過設計信心估計分支和類別數據增強（結合leaving-out留一策略、對抗訓練、更強的數據增強、不確定性建模、利用理想深度的特徵）來實現。

特別地，為了增強對協變數偏移的敏感性，一些方法關注神經網路中間層的隱藏表示。泛化的ODIN通過使用DeConf-C作為訓練目標來擴展ODIN，選擇ID數據上的擾動尺度作為超參。

由於ODIN需要模型訓練過程，它未被歸類到後處理方法。

為了得到質量更優的隱藏層特徵以便進行密度估計，分層的 Mahalanobis距離、 Gram Matrix等技巧被引入。

OOD檢測的另一分支利用收集到的OOD樣本集（離群樣本集），在訓練中幫助模型學到ID和OOD的差異。

總的來說，採用離群點暴露的OOD檢測能達到明顯更優的性能。然而，其性能受給定OOD樣本和真實OOD樣本間相關性強弱影響明顯，如何將OOD由已經暴露的OOD泛化到更廣泛的OOD還需進一步探索。

離群點暴露方法依賴於OOD訓練數據可獲取這一強假設，該條件在實際可能不成立。在OOD數據不可獲取時，一些方法嘗試去合成OOD樣本從而讓ID和OOD可區分。現有工作利用GAN來生成OOD訓練樣本並使模型輸出均勻（uniform 正態？？？）的預測，從而在低密度區域生成邊界樣本，或者類似地，生成高置信度的OOD樣本。

現有的OOD檢測方法主要依賴輸出或特徵空間來給出OOD評分，而忽視了梯度空間的信息。ODIN【188】首次探索了使用梯度信息檢測OOD。ODIN使用經過預處理的輸入，其預處理為施加由輸入梯度得來的細微擾動。ODIN擾動的目標在於增強模型對預測標簽的信心從而增加任何給定輸入的softmax值。最終，可以找到能使ID和OOD輸入的softmax評分差異更大的擾動，從而使得它們更能被區分，使得OOD檢測性能更好。ODIN僅隱式地通過擾動來利用梯度。GradNorm則使用梯度向量的范數，從softmax輸出和正態概率分布的KL散度反向傳播。

貝葉斯模型是一類統計模型，應用貝葉斯法則來推測模型中所有的不確定性。其中，最有代表性的是貝葉斯神經網路，該方法通過馬爾可夫鏈蒙特卡洛方法、拉普拉斯方法、變分推斷來構成模型的認知不確定性，從模型的後驗分布中采樣。它們最明顯的缺陷在於預測不精確，計算代價高使得它們難以用於實際。近期工作嘗試了幾種less principled（理論性較弱??）的近似，包括 MC-dropout [224] 和深度融合 [225]，299] 用於更快、更好地估計不確定性。這些方法在OOD不確定性估計上不太有競爭力。更進一步的探索需要在保留貝葉斯原理的優勢的同時，採用自然梯度變分推理，從而能夠採用實用且可負擔的現代深度學習訓練。狄利克雷先驗網路Dirichlet Prior Network (DPN) 也在OOD檢測中被運用，使用對模型不確定性、數據不確定性以及分布不確定性三個不同來源的不確定性進行不確定性建模，出現了一系列工作 [227], [228], [229]。

近期工作推進了更貼近實際應用的大規模OOD檢測。研究的兩個方向是：將OOD檢測擴展到大的語義空間、利用大型的預訓練模型。例如，【168】指出，在基於CIFAR benchmark數據得到的方法在語義空間更大的benchmark ImageNet上並不奏效，這強調了在大型真實設定下評估OOD檢測的必要性。為解決上述挑戰，MOS的關鍵理念是將大的語義空間解構為有相似概念的更小的群組，這簡化了已知和未知數據之間的決策邊界。強有力的預訓練模型在各種任務、模態都達到了驚人的性能。同期的工作 [171], [230], [231] 證實預訓練過的transformer在特定的困難的OOD任務上性能顯著改善。

OOD檢測領域中，基於密度的方法用一些概率模型顯式地建模分布內數據，並將低密度區域的測試數據標記為OOD。即使OOD檢測在分布內數據為多類別的情形下和異常檢測不同，3.1.2節中的密度估計方法能夠通過將分布內數據統一成一個整體而直接適用於OOD檢測。當分布內含多個類別時，class-conditional高斯分布能夠顯式地建模分布內數據，因而分布外樣本能夠根據輸出的預測概率而被識別【207】。基於流的方法 [92], [232], [233], [234]也可被用於概率建模。直接估計OOD概率似乎是一種自然的解決方法，也有一些方法 [235], [236], [237] 通過給OOD樣本輸出更高的概率預測值來實現OOD檢測。【238】嘗試使用likelihood ratio來解決這個問題。【239】發現，對輸入復雜度，概率值存在明顯偏差，提出了一種基於概率值比例的方法來削減輸入復雜度的影響。近期的方法轉而使用新的評分，例如likelihood regret【240】或是集成多個密度模型【236】。整體上，生成式模型的訓練和優化難度幾乎是不可接受的，它們的性能也往往落後於基於分類的方法（3.3）

基於距離的方法基本理念在於，測試中OOD樣本應當相對遠離分布內類別的中心（centroid）或原型（prototype）。【207】使用相對所有類別中心的最小Mahalanobis距離來檢測。一個後續工作【241】將圖片分為前景和背景，再計算這兩個空間間的Mahalanobis距離比例。一些工作使用測試樣本特徵和類別特徵間的餘弦相似度來確定OOD樣本【242】、【243】。被訓練特徵的的第一奇異向量一維的子空間

更進一步，其他工作利用了徑向基函數核距離（distance with radial basis function kernel）、輸入的嵌入向量到類別中心的歐拉距離。

OOD檢測領域自出現以來發展迅速，其解決方案從基於分類的、基於密度的、再到基於距離的。在多類別設定下，典型的OOD檢測是開集識別問題（第4節），在類別空間Y中精確分類分布內的測試樣本，並且丟棄語義不被Y所支持的分布外樣本。然而，OOD檢測包含了更廣泛的學習任務（比如，多標簽分類）和解法（比如，密度估計和離群點暴露）。一些方法放寬了開集檢測的限制條件，並且達到了更強的性能。

離群檢測需要所有樣本可見，其目標是檢測出那些顯著偏離大多數的分布的樣本。離群檢測方法通常是轉導式的，而不是歸納式的。 [13], [14], [15], [16]綜述主要回顧了數據挖掘領域的離群檢測方法。以下主要回顧離群檢測方法，尤其是為計算機視覺設計的使用深度神經網路的方法。即使深度學習方法極少能直接解決離群檢測問題，數據清洗程序（從開集臟數據學習的先決條件）和開集半監督學習的方法也在解決離群檢測問題。

離群檢測模型的基本理念是將整個數據集建模為一個高斯分布，將偏離均值超過三杯標准差的樣本標記為離群【300】【301】。其他帶參數的概率方法利用Mahalanobis距離[266] 和高斯混合模型 [302]來建模數據密度。和「三倍標准偏離」規則類似，四分位距也可通過構建傳統的無參數概率模型來檢測離群樣本【247】。為了魯棒和簡化，局部離群因子（local outlier factor）方法【248】藉助給定點的鄰居和它自身局部可達性的比值，去估計給定點的密度。RANSAC【252】迭代地估計數學模型的參數來擬合數據並且找到對估計貢獻較少的樣本作為離群點。

總體上，經典的異常檢測的密度方法比如，核密度估計（3.1節），也可應用於離群檢測。即便這些方法由於圖片數據維度太高而應用困難，也可以通過降維方法【253,254】和基於最近鄰的密度方法(3.1節)來緩解。

檢測離群的一個簡易方法是計數某特定半徑內的鄰居數量，或者度量第k近鄰居的距離【303,304】。以下主要介紹基於聚類的方法和基於圖的方法。

DBSCAN【255】依照基於距離的密度來積聚樣本構成聚類。處在主要聚類之外的樣本被識別為離群樣本。後續工作通過考慮聚類標簽的信心改良了聚類的方式【256】。

另一類方法利用數據點之間的關系，並構造鄰域圖[305], [306]（或其變體[307]），利用圖的屬性和圖挖掘技巧來找到異常的樣本【257，258】，比如圖聚類[259], [260]、圖分割【308】、使用圖神經網路的標簽傳播【261】。

⑸ 如何判別測量數據中是否有異常值

一般異常值的檢測方法有基於統計的方法，基於聚類的方法，以及一些專門檢測異常值的方法等，下面對這些方法進行相關的介紹。

1. 簡單統計

如果使用pandas，我們可以直接使用describe()來觀察數據的統計性描述（只是粗略的觀察一些統計量），不過統計數據為連續型的，如下：

df.describe()紅色箭頭所指就是異常值。

以上是常用到的判斷異常值的簡單方法。下面來介紹一些較為復雜的檢測異常值演算法，由於涉及內容較多，僅介紹核心思想，感興趣的朋友可自行深入研究。

4. 基於模型檢測

這種方法一般會構建一個概率分布模型，並計算對象符合該模型的概率，把具有低概率的對象視為異常點。如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；如果模型是回歸時，異常是相對遠離預測值的對象。

離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。

比如特徵工程中的RobustScaler方法，在做數據特徵值縮放的時候，它會利用數據特徵的分位數分布，將數據根據分位數劃分為多段，只取中間段來做縮放，比如只取25%分位數到75%分位數的數據做縮放。這樣減小了異常數據的影響。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

5. 基於近鄰度的離群點檢測

統計方法是利用數據的分布來觀察異常值，一些方法甚至需要一些分布條件，而在實際中數據的分布很難達到一些假設條件，在使用上有一定的局限性。

確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。這種方法比統計學方法更一般、更容易使用，因為一個對象的離群點得分由到它的k-最近鄰（KNN）的距離給定。

需要注意的是：離群點得分對k的取值高度敏感。如果k太小，則少量的鄰近離群點可能導致較低的離群點得分；如果K太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

5. 基於密度的離群點檢測

從基於密度的觀點來說，離群點是在低密度區域中的對象。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。

優缺點：（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

6. 基於聚類的方法來做異常點檢測

基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇，那麼該對象屬於離群點。

離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。這也是k-means演算法的缺點，對離群點敏感。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。

優缺點：（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；（3）產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

7. 專門的離群點檢測

其實以上說到聚類方法的本意是是無監督分類，並不是為了尋找離群點的，只是恰好它的功能可以實現離群點的檢測，算是一個衍生的功能。

⑹ 異常點檢測方法

一、基本概念

異常對象被稱作離群點。異常檢測也稱偏差檢測和例外挖掘。

常見的異常成因：數據來源於不同的類（異常對象來自於一個與大多數數據對象源（類）不同的源（類）的思想），自然變異，以及數據測量或收集誤差。

異常檢測的方法：

（1）基於模型的技術：首先建立一個數據模型，異常是那些同模型不能完美擬合的對象；如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；在使用回歸模型時，異常是相對遠離預測值的對象。

（2）基於鄰近度的技術：通常可以在對象之間定義鄰近性度量，異常對象是那些遠離其他對象的對象。

（3）基於密度的技術：僅當一個點的局部密度顯著低於它的大部分近鄰時才將其分類為離群點。

二、異常點檢測的方法

1、統計方法檢測離群點

統計學方法是基於模型的方法，即為數據創建一個模型，並且根據對象擬合模型的情況來評估它們。大部分用於離群點檢測的統計學方法都是構建一個概率分布模型，並考慮對象有多大可能符合該模型。離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。異常檢測的混合模型方法：對於異常檢測，數據用兩個分布的混合模型建模，一個分布為普通數據，而另一個為離群點。

聚類和異常檢測目標都是估計分布的參數，以最大化數據的總似然（概率）。聚類時，使用EM演算法估計每個概率分布的參數。然而，這里提供的異常檢測技術使用一種更簡單的方法。初始時將所有對象放入普通對象集，而異常對象集為空。然後，用一個迭代過程將對象從普通集轉移到異常集，只要該轉移能提高數據的總似然（其實等價於把在正常對象的分布下具有低概率的對象分類為離群點）。（假設異常對象屬於均勻分布）。異常對象由這樣一些對象組成，這些對象在均勻分布下比在正常分布下具有顯著較高的概率。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

2、基於鄰近度的離群點檢測。

一個對象是異常的，如果它遠離大部分點。這種方法比統計學方法更一般、更容易使用，因為確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。一個對象的離群點得分由到它的k-最近鄰的距離給定。離群點得分對k的取值高度敏感。如果k太小（例如1），則少量的鄰近離群點可能導致較低的離群點得分；如果k太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m^2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

3、基於密度的離群點檢測。

從基於密度的觀點來說，離群點是在低密度區域中的對象。一個對象的離群點得分是該對象周圍密度的逆。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。需要小心的選擇d，如果d太小，則許多正常點可能具有低密度，從而具有高離群點得分。如果d太大，則許多離群點可能具有與正常點類似的密度（和離群點得分）。使用任何密度定義檢測離群點具有與基於鄰近度的離群點方案類似的特點和局限性。特殊地，當數據包含不同密度的區域時，它們不能正確的識別離群點。

為了正確的識別這種數據集中的離群點，我們需要與對象鄰域相關的密度概念，也就是定義相對密度。常見的有兩種方法：（1）使用基於SNN密度的聚類演算法使用的方法；（2）用點x的密度與它的最近鄰y的平均密度之比作為相對密度。

使用相對密度的離群點檢測（局部離群點要素LOF技術）：首先，對於指定的近鄰個數（k），基於對象的最近鄰計算對象的密度density(x,k) ，由此計算每個對象的離群點得分；然後，計算點的鄰近平均密度，並使用它們計算點的平均相對密度。這個量指示x是否在比它的近鄰更稠密或更稀疏的鄰域內，並取作x的離群點得分（這個是建立在上面的離群點得分基礎上的）。

優缺點：

（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；

（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；

（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

4、基於聚類的技術

一種利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇。這個方法可以和其他任何聚類技術一起使用，但是需要最小簇大小和小簇與其他簇之間距離的閾值。這種方案對簇個數的選擇高度敏感。使用這個方案很難將離群點得分附加到對象上。一種更系統的方法，首先聚類所有對象，然後評估對象屬於簇的程度（離群點得分）（基於原型的聚類可用離中心點的距離來評估，對具有目標函數的聚類技術該得分反映刪除對象後目標函數的改進（這個可能是計算密集的））。基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇。離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。還有一種更復雜的方法：取一組不能很好的擬合任何簇的特殊對象，這組對象代表潛在的離群點。隨著聚類過程的進展，簇在變化。不再強屬於任何簇的對象被添加到潛在的離群點集合；而當前在該集合中的對象被測試，如果它現在強屬於一個簇，就可以將它從潛在的離群點集合中移除。聚類過程結束時還留在該集合中的點被分類為離群點（這種方法也不能保證產生最優解，甚至不比前面的簡單演算法好，在使用相對距離計算離群點得分時，這個問題特別嚴重）。

對象是否被認為是離群點可能依賴於簇的個數（如k很大時的雜訊簇）。該問題也沒有簡單的答案。一種策略是對於不同的簇個數重復該分析。另一種方法是找出大量小簇，其想法是（1）較小的簇傾向於更加凝聚，（2）如果存在大量小簇時一個對象是離群點，則它多半是一個真正的離群點。不利的一面是一組離群點可能形成小簇而逃避檢測。

優缺點：

（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；

（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；

（3） 產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；

（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

新穎性和離群值檢測

離群值檢測：訓練數據包含離群值，即與其他觀測值相距甚遠的觀測值。離群檢測估計器會嘗試擬合訓練數據最集中的區域，忽略異常觀察。

新穎性檢測：訓練數據不受異常值的污染，有興趣檢測新觀察值是否是異常值。該情況下離群值也稱為新穎性。

離群值檢測和新穎性檢測均用於異常檢測，離群值檢測稱為無監督異常檢測，新穎性檢測稱為半監督異常檢測。離群值檢測的情況下，離群值/異常不能形成密集的群集，可假設離群值/異常位於低密度區域；新穎性檢測的情況下，只要新穎性/異常位於訓練數據的低密度區域，就可以形成密集的簇。

通過對玩具數據集進行異常檢測比較異常檢測演算法

數據集中包含一種或兩種模式（高密度區域），以說明演算法處理多模式數據的能力。

對於每個數據集，將生成15%的樣本作為隨機均勻雜訊。該比例是OneClassSVM的nu參數和其他異常值檢測演算法的污染參數提供的值。離群值之間的決策邊界以黑色顯示，但是LOF除外，因為當採用LOF用於離群值檢測時，沒有適用於新數據的預測方法。

OneClassSVM對異常值敏感，對異常值檢測執行的不好。當訓練集不受異常值污染時，此估計器最適合新穎性檢測。即不適用在高維中進行離群值檢測或者不對基礎數據的分布進行任何假設，OneClassSVM在這些情況下可能會根據其超參數給出有用的結果。

covariance EllipticEnvelope（協方差橢圓密度）假定數據是高斯分布並學習一個橢圓。在數據不是單峰時，會退化。此估計器對異常值具有魯棒性。

IsolationFrorest和LocalOutlierFactor針對多模式數據集效果顯著。LOF針對第三種數據集，明顯優於其它三種估計器，該數據集中兩種模式的密度不同。LOF的局部方面，即它僅將一個樣本的異常評分與其鄰居評分作比較，從何體現了該方法的優勢。

針對最後一個均勻分布在超立方體中的數據集，很難說一個樣本比另一個樣本異常得多。除了OneClassSVM有些過擬合外，所有估計器都針對該情況提出不錯的解決方案。針對這種情況，應該仔細觀察樣本的異常分數，性能好的估算器應該為所有樣本分配相似的分數。

使用局部離群因子（LOF）進行離群值檢測

LOF演算法是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差。其中密度遠低於其鄰居的樣本為異常值。

LOF演算法的優勢在於同時考慮了數據集的局部和全局屬性：即使在異常樣本具有不同底層密度的數據集中，仍能保持良好性能。問題不在於樣本有多孤立，而在於樣本相對於周圍鄰域有多孤立。

通常考慮的鄰居數量（1）大於群集必須包含的最小樣本數量，以便其他樣本可以是相對於該群集的局部離散值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。

具有局部異常值的新穎性檢驗

LOF是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差，密度遠低於其鄰居的樣本為異常值。LOF用於新穎性檢驗時，切勿在訓練集上使用預測、決定函數、實例得分，會導致結果錯誤。只能對新的看不見的數據（不在訓練集中）使用這些方法。

通常考慮鄰居數量（1）大於群集必須包含的最小樣本數，以便其他樣本可以是相對於該群集的局部離群值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。

隔離林

在高維數據集中執行異常檢測的一種有效方法是使用隨機森林，分離的觀察通過隨機選擇一個函數，隨機選擇所選擇的特徵的最大值和最小值之間的分割值。遞歸分區可用樹結構表示，隔離樣本所需的拆分數量等於從根節點到終止結點的路徑長度。隨機樹的森林中的平均路徑長度是對正態性和決策函數的度量。隨機分區產生的異常路徑明顯較短，因此如果隨機樹森林為特定樣本生成的較短路徑，則該樹代表的值很可能是異常的。

OneClassSVM

無監督的離群值檢測，支持高維分布，基於libsvm

不假定數據分布的任何參數形式，可以更好的對數據的復雜形狀進行建模，能夠捕獲真實的數據結構，難點在於調整核函數寬度參數，以便在數據散布矩陣的形狀和數據過度擬合的風險間取得折中。

協方差橢圓密度

用於檢測高斯分布數據集中的異常值的對象

經驗協方差估計（作為非穩健估計）受到觀測值異質結構的高度影響；魯棒協方差估計能夠集中於數據分布的主要模式，但是它堅持假設數據是高斯分布，產生了對數據結構的某些估計，在一定程度上是准確的。

HBOS單維效果極佳，但是標准差方法的mask 掩碼效應嚴重。例如 數據通常在100以內，但是有兩個異常點，500，1000000。這個演算法就不能檢出500這個異常點。

對比而言，孤立森林理論上更適合大數據的異常檢測，且無掩碼效應。孤立森林確定異常時訓練只用樣本數據。每顆樹樣本數量默認只有256個，默認只用100顆樹。所以理論上25600個樣本就能確定海量數據中的異常點了。

Sklearn的 isolation forest 例子默認是讀入全量數據再采樣。如果配上warm up 選項就能分批放入采樣。

異常檢測的深度學習研究綜述

⑺ 入侵檢測系統異常檢測方法有什麼

入侵檢測技術基礎 1. IDS（入侵檢測系統）存在與發展的必然性 （1）網路安全本身的復雜性，被動式的防禦方式顯得力不從心。（2）有關供觸垛吠艹杜訛森番緝防火牆：網路邊界的設備；自身可以被攻破；對某些攻擊保護很弱；並非所有威脅均來自防火牆外部。（3）入侵很容易：入侵教程隨處可見；各種工具唾手可得 2. 入侵檢測（Intrusion Detection） ●定義：通過從計算機網路或計算機系統中的若干關鍵點收集信息並對其進行分析，從中發現網路或系統中是否有違反安全策略的行為和遭到襲擊的跡象的一種安全技術。入侵檢測的分類（1）按照分析方法/檢測原理分類 ●異常檢測（Anomaly Detection）：基於統計分析原理。首先總結正常操作應該具有的特徵（用戶輪廓），試圖用定量的方式加以描述，當用戶活動與正常行為有重大偏離時即被認為是入侵。前提：入侵是異常活動的子集。指標：漏報率低，誤報率高。用戶輪廓(Profile)：通常定義為各種行為參數及其閥值的集合，用於描述正常行為范圍。特點：異常檢測系統的效率取決於用戶輪廓的完備性和監控的頻率；不需要對每種入侵行為進行定義，因此能有效檢測未知的入侵；系統能針對用戶行為的改變進行自我調整和優化，但隨著檢測模型的逐步精確，異常檢測會消耗更多的系統資源 ●誤用檢測（Misuse Detection）：基於模式匹配原理。收集非正常操作的行為特徵，建立相關的特徵庫，當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵。前提：所有的入侵行為都有可被檢測到的特徵。指標：誤報低、漏報高。攻擊特徵庫：當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵。特點：採用模式匹配，誤用模式能明顯降低誤報率，但漏報率隨之增加。攻擊特徵的細微變化，會使得誤用檢測無能為力。

⑻ 異常檢測方法 二

  離群點是一個數據對象，它顯著不同於其他數據對象，好像它是被不同的機制產生的一樣。有時也稱非離群點為「正常數據」，離群點為「異常數據」。
  離群點不同於雜訊數據。雜訊是被觀測變數的隨機誤差或方差。一般而言，雜訊在數據分析（包括離群點分析）中不是令人感興趣的。如在信用卡欺詐檢測，顧客的購買行為可以用一個隨機變數建模。一位顧客可能會產生某些看上去像「隨機誤差」或「方差」的雜訊交易，如買一份較豐盛的午餐，或比通常多要了一杯咖啡。這種交易不應該視為離群點，否則信用卡公司將因驗證太多的交易而付出沉重代價。因此，與許多其他數據分析和數據挖掘任務一樣，應該在離群點檢測前就刪除雜訊。
  離群點檢測是有趣的，因為懷疑產生它們的機制不同於產生其他數據的機制。因此，在離群點檢測時，重要的是搞清楚為什麼檢測到的離群點被某種其他機制產生。通常，在其餘數據上做各種假設，並且證明檢測到的離群點顯著違反了這些假設。

離群點可以分成三類：全局離群點、情境（或條件）離群點和集體離群點。

在給定的數據集中，一個數據對象是全局離群點，如果它顯著的偏離數據集中的其他對象。全局離群點是最簡單的一類離群點，大部分的離群點檢測方法都旨在找出全局離群點。

在給定的數據集中，一個數據對象是情境離群點，如果關於對象的特定情境，它顯著的偏離其他對象。情境離群點又稱為條件離群點，因為它們條件的依賴於選定的情境。一般地，在情境離群點檢測中，所考慮數據對象的屬性劃分成兩組：
情境屬性 ：數據對象的情境屬性定義對象的情境。一般為靜態屬性變數，如信用卡欺詐檢測中，不同年齡、不同地區的人消費情況是不同的，先按照靜態屬性將人群大致分類，再檢測每一類的離群點，會得到更好的結果。
行為屬性 ：定義對象的特徵，並用來評估對象關於它所處的情境是否為離群點。在上述例子中，行為屬性可以是消費金額，消費頻率等
情境離群點分析為用戶提供了靈活性，因為用戶可以在不同情境下考察離群點，這在許多應用中都是非常期望的。

給定一個數據集，數據對象的一個子集形成集體離群點，如果這些對象作為整體顯著的偏離整個數據集。如一家供應鏈公司，每天處理數以千計的訂單和出貨。如果一個訂單的出貨延誤，則可能不是離群點，因為統計表明延誤時常發生。然而，如果有一天有100個訂單延誤，則必須注意。這100個訂單整體來看，形成一個離群點，盡管如果單個考慮，它們每個或許都不是離群點。你可能需要更詳細地整個考察這些訂單，搞清楚出貨問題。
與全局和情境離群點檢測不同，在集體離群點檢測中，不僅必須考慮個體對象的行為，而且還要考慮對象組群的行為。因此，為了檢測集體離群點，需要關於對象之間聯系的背景知識，如對象之間的距離或相似性測量方法。

離群點檢測的統計學方法對數據的正常性做假定。假定數據集中的正常對象由一個隨機過程（生成模型）產生。因此，正常對象出現在該隨機模型的高概率區域中，而低概率區域中的對象是離群點。
離群點檢測的統計學方法的一般思想是：學習一個擬合給定數據集的生成模型，然後識別該模型低概率區域中的對象，把它們作為離群點。有許多不同方法來學習生成模型，一般而言，根據如何指定和如何學習模型，離群點檢測的統計學方法可以劃分成兩個主要類型： 參數方法和非參數方法。
參數方法: 假定正常的數據對象被一個以為參數的參數分布產生。該參數分布的概率密度函數給出對象被該分布產生的概率。該值越小，越可能是離群點。
非參數方法: 並不假定先驗統計模型，而是試圖從輸入數據確定模型。非參數方法的例子包括直方圖和核密度估計。

  假定數據集由一個正態分布產生，然後，可以由輸入數據學習正態分布的參數，並把低概率的點識別為離群點。
  在正態分布的假定下，區域包含99.7%的數據，包含95.4%的數據，包含68.3%的數據。視具體情況而定，將其區域外的數據視為離群點。
  這種直截了當的統計學離群點檢測方法也可以用於可視化。例如盒圖方法使用五數概況繪制一元輸入數據：最小的非離群點值（Min）、第一個四分位數（Q1）、中位數（Q2）、第三個四分位數（Q3）和最大的非離群點值（Max）。
  四分位數極差（IQR）定義為Q3-Q1。比Q1小1.5倍的IQR或者比Q3大1.5倍的IQR的任何對象都視為離群點，因為Q1-1.5 IQR和Q3+1.5 IQR之間的區域包含了99.3%的對象。

（1）使用馬哈拉諾比斯距離檢測多元離群點。
對於一個多元數據集，設為均值向量。對於數據集中的對象，從到的馬哈拉諾比斯（Mahalanobis）距離為其中S是協方差矩陣。是一元數據，可以對它進行離群點檢測。如果被確定為離群點，則也被視為離群點。
（2）使用統計量的多元離群點檢測。
在正態分布的假設下，統計量可以用來捕獲多元離群點。對於對象，統計量是
其中，是在第維上的值，是所有對象在第維上的均值，而是維度。如果對象的統計量很大，則該對象是離群點。
（3）使用混合參數分布
在許多情況下，數據是由正態分布產生的假定很有效。然而，當實際數據很復雜時，這種假定過於簡單。在這種情況下，假定數據是被混合參數分布產生的。
混合參數分布中用期望最大化（EM）演算法來估計參數。具體情況比較復雜，可以參考韓家煒的《數據挖掘：概念與技術》一書。

在離群點檢測的非參數方法中，「正常數據」的模型從輸入數據學習，而不是假定一個先驗。通常，非參數方法對數據做較少假定，因而在更多情況下都可以使用。

使用直方圖檢測離群點
包括如下兩步：
步驟1： 構造直方圖。盡管非參數方法並不假定任何先驗統計模型，但是通常確實要求用戶提供參數，以便由數據學習。如指定直方圖的類型（等寬或等深的）和其他參數（如直方圖中的箱數或每個箱的大小）。與參數方法不同，這些參數並不指定數據分布的類型（如高斯分布）。
步驟2： 檢測離群點。為了確定一個對象是否是離群點，可以對照直方圖檢驗它。在最簡單的方法中，如果該對象落入直方圖的一個箱中，則該對象被看做是正常的，否則被認為是離群點。

對於更復雜的方法，可以使用直方圖賦予每個對象一個離群點得分。一般可以令對象的離群點得分為該對象落入的箱的容積的倒數。得分越高，表明是離群點的概率越大。

使用直方圖作為離群點檢測的非參數模型的一個缺點是，很難選擇一個合適的箱尺寸。一方面，如箱尺寸太小，則由很多正常對象都會落入空的或稀疏箱，因而被誤識別為離群點。這將導致很高的假正例率或低精度。相反，如果箱尺寸太大，則離群點對象可能滲入某些頻繁的箱中，這將導致很高的假負例率或召回率。為了解決這些問題，使用核密度估計來估計數據的概率密度分布。具體參考韓家煒的《數據挖掘：概念與技術》。

  給定特徵空間中的對象集，可以使用距離度量來量化對象間的相似性。基於鄰近性的方法假定：離群點對象與它最近鄰的鄰近性顯著偏離數據集中其他對象與它們近鄰之間的鄰近性。
  有兩種類型的基於鄰近性的離群點檢測方法：基於距離的和基於密度的方法。基於距離的離群點檢測方法考慮對象給定半徑的鄰域。一個對象被認為是離群點，如果它的鄰域內沒有足夠多的其他點。基於密度的離群點檢測方法考察對象和它近鄰的密度。這里，一個對象被識別為離群點，如果它的密度相對於它的近鄰低得多。

對於待分析的數據對象集D，用戶可以指定一個距離閾值r來定義對象的合理鄰域。對於每個對象o，可以考察o的r-鄰域中的其他對象的個數。如果D中大多數對象都遠離o，即都不在o的r-鄰域中，則o可以被視為一個離群點。
令是距離閾值，是分數閾值。對象是一個離群點，如果
其中是距離度量。
如何計算-離群點？一是嵌套循環方法，時間復雜度為。當數據集很大時，該方法的開銷很大。為了改進性能，可以用基於網格的方法來實現。具體見韓家煒《數據挖掘》一書。

基於距離的離群點檢測從全局考慮數據集。由於以下兩個原因，這種離群點被看成「全局離群點」：
l 例如，一個-離群點至少遠離（用參數r定量）數據集中的對象。換言之，這種離群點遠離數據的大多數。
l 為了檢測基於距離的離群點，需要兩個距離參數，它們用於每個離群點對象。
現實世界的許多數據集都呈現更復雜的結構，那裡對象可能關於其局部鄰域，而不是關於整個數據分布而被視為離群點。如下圖，基於距離的離群點檢測方法不能捕獲像o1和o2這樣的局部離群點。
那麼，如何確切地定義如圖所示的局部離群點？這里關鍵的思想是，需要把對象周圍的密度與對象鄰域周圍的密度進行比較。基於密度的離群點檢測方法的基本假定是：非離群點對象周圍的密度與其鄰域周圍的密度類似，而離群點對象周圍的密度顯著不同於其鄰域周圍的密度。

基於聚類的方法通過考察對象與簇之間的關系檢測離群點。直觀地，離群點是一個對象，它屬於小的偏遠簇，或不屬於任何簇。
這導致三種基於聚類的離群點檢測的一般方法。考慮一個對象。
l 該對象屬於某個簇嗎？如果不，則它被識別為離群點。
l 該對象與最近的簇之間的距離很遠嗎？如果是，則它是離群點。
l 該對象是小簇或稀疏簇的一部分嗎?如果是，則該簇中的所有對象都是離群點。

下面對每一種方法考察一個例子。

例1 把離群點檢測為不屬於任何簇的對象。如圖1所示，使用基於密度的聚類方法，如DBSCAN,注意到黑色點都屬於簇，白色點a不屬於任何簇，因而被認為是離群點。

圖1 對象a是離群點，因為 它不屬於任何簇

圖2 離群點（a,b,c）都（關於簇中心）遠離距它們最近的簇

例2 使用到最近簇的距離的基於聚類的離群點檢測。如圖2所示，使用k-均值聚類方法，可以把圖2中的數據點劃分成3個簇，如圖中不同符號所示，每個簇中心用「+」標記。對於每個對象o，都可以根據該對象與最近簇中心的距離，賦予該對象一個離群點得分。假設到o的最近中心為c,則o與c之間的距離為dist(o,c)，c與指派到c的對象之間的平均距離為L,比率度量與平均值的差異程度。在圖2中，點a,b和c都相對遠離它們的對應中心，因而被懷疑是離群點。

例3 檢測小簇中的離群點

迄今為止我們看到的每種方法都只檢測個體離群點，因為它們一次把一個對象與數據集中的簇進行比較。然而，在大型數據中，一些離群點可能是類似的，並且形成一個小簇。例如，在入侵檢測中，使用相同手段攻擊系統的黑客可能形成一個簇。迄今為止所討論的方法可能被這種離群點所欺騙。
為了解決這一問題，第三種基於聚類的離群點檢測方法識別小簇或稀疏簇，並宣告這些簇中的對象也是離群點。這種方法的一個例子是FindCBLOF演算法，其方法如下。

（1） 找出數據集中的簇，並把它們按大小降序排列。該演算法假定大部分數據點都不是離群點，它使用一個參數來區別大簇和小簇。任何至少包含數據集中百分之（如，=90%）數據點的簇都被視為大簇，而其餘的簇被看成小簇。
（2） 對於每個數據點賦予基於簇的局部離群點因子（CBLOF），對於屬於大簇的點，它的CBLOF是簇的大小和該點與簇的相似性的乘積。對於屬於小簇的點，它的CBLOF用小簇的大小和該點與最近的大簇的相似性的乘積計算。
CBLOF用統計學方法定義點和簇之間的相似性，代表點屬於簇的概率。該值越大，點與簇越相似。CBLOF值可以檢測遠離任何簇的離群點。
基於聚類的離群點檢測方法具有如下優點。首先，它們可以檢測離群點，而不要求數據是有標號的，即它們以無監督方式檢測。它們對許多類型的數據都有效。簇可以看成是數據的概括，一旦得到簇，基於聚類的方法只需要把對象與簇進行比較，以確定該對象是否是離群點，這一過程通常很快，因為與對象總數相比，簇的個數通常很小。
基於聚類的方法的缺點是：它的有效性高度依賴於所使用的聚類方法。這些方法對於離群點檢測而言可能不是最優的。對於大型數據集，聚類方法通常開銷很大，這可能成為一個瓶頸。

如果訓練數據具有類標號，則離群點檢測可以看做分類問題。基於分類的離群點檢測方法的一般思想是，訓練一個可以區分「正常」數據和離群點的分類模型。
基於分類的離群點檢測方法通常使用一類模型（單分類模型SVDD），即構造一個僅描述正常類的分類器，不屬於正常類的任何樣本都被視為離群點。
基於分類的方法和基於聚類的方法可以聯合使用，以半監督的方式檢測離群點。
例通過半監督學習檢測離群點

如上圖所示，其中對象被標記為「正常」或「離群點」，或者沒有標號。使用基於聚類的方法，發現一個大簇C和一個小簇C1。因為C中的某些對象攜帶了標號「正常」，因此可以把該簇的所有對象（包括沒有標號的對象）都看做正常對象。在離群點檢測中，使用這個簇的一類模型來識別離群點。類似的，因為簇C1中的某些對象攜帶標號「離群點」，因此宣布C1中的所有對象都是離群點。未落入C模型中的任何對象（如a）也被視為離群點。

與一般的離群點檢測相比，識別情境離群點需要分析對應的情境信息。情境離群點檢測方法可以根據情境是否可以清楚地識別而分成兩類。

這類方法適用於情境可以被清楚識別的情況，其基本思想是把情境離群點檢測問題轉換成典型的離群點檢測問題。具體地說，對於給定的數據對象，用兩步來評估該對象是否是離群點。第一步，使用對象的情境屬性識別對象的情境。第二步，使用一種傳統的離群點檢測方法，估計該對象的離群點得分。

在某些應用中，清楚地把數據劃分成情境是不方便的或不可行的。這時，可以關於情境對正常行為建模。使用一個訓練數據集，這種方法訓練一個模型，關於情境屬性的值，預測期望的行為屬性值。然後，為了確定一個數據對象是否是情境離群點，可以在該對象的情境屬性上使用該模型。如果該對象的行為屬性值顯著地偏離該模型的預測值，則該對象被宣布為情境離群點。
通過使用連接情境和行為的預測模型，這些方法避免直接識別具體情境。許多分類和預測技術都可以用來構建這種模型，如回歸、馬爾科夫模型和有窮狀態自動機等等。

與情境離群點檢測一樣，集體離群點檢測方法也可以劃分為兩類。第一類方法把問題歸結為傳統的離群點檢測。其策略是識別結構單元，把每個結構單元（例如，子序列、時間序列片段、局部區域或子圖）看做是一個數據對象，並提取特徵。這樣，集體離群點檢測問題就轉換成在使用提取的特徵構造的「結構化對象」集上的離群點檢測。一個結構單元代表原數據集中的一組對象，如果該結構單元顯著地偏離提取的特徵空間中的期望趨勢，則它是一個集體離群點。
為集體離群點檢測預先定義結構單元可能是困難的，或者是不可能的。因此，第二類方法直接對結構單元的期望行為建模。例如，為了在時間序列中檢測離群點，一種方法是從序列中學習馬爾科夫模型。因此，一個子序列被宣布為集體離群點，如果它顯著地偏離該模型。

一般地，高維數據的離群點檢測方法應該應對以下挑戰：

l 離群點的解釋：不僅應該能夠識別檢測離群點，而且能夠提供離群點的解釋。離群點的解釋可能是，例如，揭示離群點的特定子空間，或者關於對象的「離群點性」的評估。這種解釋可以幫助用戶理解離群點的含義和意義。
l 數據的稀疏性：這些方法應該能處理高維空間的稀疏性。隨著維度的增加，對象之間的距離嚴重地被雜訊所左右。因此，高維空間中的數據通常是稀疏的。
l 數據子空間：它們應該以合適的方式對離群點建模，例如，自適應現實離群點的子空間和捕獲數據的局部變化。在所有的子空間上使用固定的距離閾值來檢測離群點捕食一種好想法，因為兩個對象之間的距離隨著維度增加而單調增加。
l 關於維度的可伸縮性：隨著維度的增加，子空間的數量指數增加。包含所有可能的子空間的窮舉組合探索不是可伸縮的選擇。
高維數據的離群點檢測方法可以劃分成三種主要方法，包括擴充的傳統離群點檢測、發現子空間中的離群點和對高維離群點建模。

一種高維數據離群點檢測方法是擴充的傳統離群點檢測方法。它使用傳統的基於鄰近性的離群點模型。然而，為了克服高維空間中鄰近性度量惡化問題，它使用其他度量，或構造子空間並在其中檢測離群點。

HilOut演算法就是這種方法的一個例子。HitOut找出基於距離的離群點，但在離群點檢測中使用距離的秩，而不是絕對距離。具體地說，對於每個對象o，HitOut找出o的k個最近鄰，記作nn1(o),nn2(o)……nnk(o),其中k是一個依賴於應用的參數。參數o的權重定義為

所有對象按權重遞減序定秩。權重最高的top-p個對象作為離群點輸出，其中p是另一個用戶指定的參數。

HilOut演算法計算每個對象的k-最近鄰開銷很大，當維度很高並且數據很大時不能伸縮。
另一種方法則是通過維歸約，把高維離群點檢測問題歸結為較低維上的離群點檢測。其基本思想是，把高維空間歸約到低維空間，那裡標準的距離度量仍然能夠區分離群點。如果能夠找到這樣的較低維空間，則可以用傳統的離群點檢測方法。
為了降低維度，可以對離群點檢測使用或擴充一般的特徵特徵選擇和提取方法。例如，可以用主成分分析（PCA）來提取一個低維空間。

高維數據中離群點檢測的另一種方法是搜索各種子空間中的離群點。其唯一的優點是，如果發現一個對象是很低維度的子空間的離群點，則該子空間提供了重要信息，解釋該對象為什麼和在何種程度上是離群點。
如何檢測子空間中的離群點，一種方法是基於網格的子空間離群點檢測。具體做法見韓家煒《數據挖掘》。

另一種方法是試圖直接為高維離群點建立一個新模型。這種方法通常避免鄰近性度量，而是採用新的啟發式方法來檢測離群點。具體做法見韓家煒《數據挖掘》。

⑼ 異常檢測（二）——傳統統計學方法

統計學方法有效性高度依賴於給定數據所做的統計的模型假設是否成立。

異常檢測的統計學方法的一般思想是：學習一個擬合給定數據集的生成模型，然後識別該模型低概率區域中的對象，把他們作為異常點
例如：正態分布的3個 之外的點為異常點，箱線圖中超過2個Q的點為異常點

根據如何指定和學習模型，異常檢測的統計學方法可以劃分為兩個主要的類型：參數方法和非參數方法

參數方法 假定正常的數據對象被一個以 為參數的參數分布產生。該參數分布的概率密度函數 給出對象 被該分布產生的概率。該值越小, 越可能成為異常點。

非參數方法 並不假定先驗統計模型，而是試圖從輸入數據確定模型。非參數方法通常假定參數的個數和性質都是靈活的，不預先確定（所以非參數方法並不是說模型是完全無參的，完全無參的情況下從數據學習模型是不可能的）。

僅涉及一個屬性或變數的數據稱為一元數據。我們假定數據由正態分布產生，然後可以由輸入數據學習正態分布的參數，並把低概率的點識別為異常點。

假定輸入數據集為 ，數據集中的樣本服從正態分布，即 ，我們可以根據樣本求出參數 和 。

求出參數之後，我們就可以根據概率密度函數計算數據點服從該分布的概率。正態分布的概率密度函數為

如果計算出來的概率低於閾值，就可以認為該數據點為異常點。

閾值是個經驗值，可以選擇在驗證集上使得評估指標值最大（也就是效果最好）的閾值取值作為最終閾值。

例如常用的3sigma原則中，如果數據點超過范圍 ，那麼這些點很有可能是異常點。

這個方法還可以用於可視化。箱線圖對數據分布做了一個簡單的統計可視化，利用數據集的上下四分位數（Q1和Q3）、中點等形成。異常點常被定義為小於Q1－1.5IQR或大於Q3+1.5IQR的那些數據。

用Python畫一個簡單的箱線圖：

涉及兩個或多個屬性或變數的數據稱為多元數據。許多一元異常點檢測方法都可以擴充，用來處理多元數據。其核心思想是把多元異常點檢測任務轉換成一元異常點檢測問題。例如基於正態分布的一元異常點檢測擴充到多元情形時，可以求出每一維度的均值和標准差。對於第 維：

計算概率時的概率密度函數為

這是在各個維度的特徵之間相互獨立的情況下。如果特徵之間有相關性，就要用到多元高斯分布了。

在許多情況下假定數據是由正態分布產生的。當實際數據很復雜時，這種假定過於簡單，可以假定數據是被混合參數分布產生的。

在異常檢測的非參數方法中，「正常數據」的模型從輸入數據學習，而不是假定一個先驗。通常，非參數方法對數據做較少假定，因而在更多情況下都可以使用。

例子：使用直方圖檢測異常點。

直方圖是一種頻繁使用的非參數統計模型，可以用來檢測異常點。該過程包括如下兩步：

步驟1：構造直方圖。使用輸入數據（訓練數據）構造一個直方圖。該直方圖可以是一元的，或者多元的（如果輸入數據是多維的）。

盡管非參數方法並不假定任何先驗統計模型，但是通常確實要求用戶提供參數，以便由數據學習。例如，用戶必須指定直方圖的類型（等寬的或等深的）和其他參數（直方圖中的箱數或每個箱的大小等）。與參數方法不同，這些參數並不指定數據分布的類型。

步驟2：檢測異常點。為了確定一個對象是否是異常點，可以對照直方圖檢查它。在最簡單的方法中，如果該對象落入直方圖的一個箱中，則該對象被看作正常的，否則被認為是異常點。

對於更復雜的方法，可以使用直方圖賦予每個對象一個異常點得分。例如令對象的異常點得分為該對象落入的箱的容積的倒數。

使用直方圖作為異常點檢測的非參數模型的一個缺點是，很難選擇一個合適的箱尺寸。一方面，如果箱尺寸太小，則許多正常對象都會落入空的或稀疏的箱中，因而被誤識別為異常點。另一方面，如果箱尺寸太大，則異常點對象可能滲入某些頻繁的箱中，因而「假扮」成正常的。

BOS全名為：Histogram-based Outlier Score。它是一種單變數方法的組合，不能對特徵之間的依賴關系進行建模，但是計算速度較快，對大數據集友好。其基本假設是數據集的每個維度相互獨立。然後對每個維度進行區間(bin)劃分，區間的密度越高，異常評分越低。

HBOS演算法流程：

1.為每個數據維度做出數據直方圖。對分類數據統計每個值的頻數並計算相對頻率。對數值數據根據分布的不同採用以下兩種方法：

靜態寬度直方圖：標準的直方圖構建方法，在值范圍內使用k個等寬箱。樣本落入每個桶的頻率（相對數量）作為密度（箱子高度）的估計。時間復雜度：

2.動態寬度直方圖：首先對所有值進行排序，然後固定數量的 個連續值裝進一個箱里，其 中N是總實例數，k是箱個數；直方圖中的箱面積表示實例數。因為箱的寬度是由箱中第一個值和最後一個值決定的，所有箱的面積都一樣，因此每一個箱的高度都是可計算的。這意味著跨度大的箱的高度低，即密度小，只有一種情況例外，超過k個數相等，此時允許在同一個箱里超過 值。

時間復雜度：

2.對每個維度都計算了一個獨立的直方圖，其中每個箱子的高度表示密度的估計。然後為了使得最大高度為1（確保了每個特徵與異常值得分的權重相等），對直方圖進行歸一化處理。最後，每一個實例的HBOS值由以下公式計算：

推導過程：

假設樣本p第 i 個特徵的概率密度為 ，則p的概率密度可以計算為： 兩邊取對數： 概率密度越大，異常評分越小，為了方便評分，兩邊乘以「-1」： 最後可得：

1.異常檢測的統計學方法由數據學習模型，以區別正常的數據對象和異常點。使用統計學方法的一個優點是，異常檢測可以是統計上無可非議的。當然，僅當對數據所做的統計假定滿足實際約束時才為真。

2.HBOS在全局異常檢測問題上表現良好，但不能檢測局部異常值。但是HBOS比標准演算法快得多，尤其是在大數據集上。