检测离群点方法

‘壹’ 如何判别测量数据中是否有异常值

一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的介绍。

1. 简单统计

如果使用pandas，我们可以直接使用describe()来观察数据的统计性描述（只是粗略的观察一些统计量），不过统计数据为连续型的，如下：

df.describe()红色箭头所指就是异常值。

以上是常用到的判断异常值的简单方法。下面来介绍一些较为复杂的检测异常值算法，由于涉及内容较多，仅介绍核心思想，感兴趣的朋友可自行深入研究。

4. 基于模型检测

这种方法一般会构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。如果模型是簇的集合，则异常是不显着属于任何簇的对象；如果模型是回归时，异常是相对远离预测值的对象。

离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。

比如特征工程中的RobustScaler方法，在做数据特征值缩放的时候，它会利用数据特征的分位数分布，将数据根据分位数划分为多段，只取中间段来做缩放，比如只取25%分位数到75%分位数的数据做缩放。这样减小了异常数据的影响。

优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

5. 基于近邻度的离群点检测

统计方法是利用数据的分布来观察异常值，一些方法甚至需要一些分布条件，而在实际中数据的分布很难达到一些假设条件，在使用上有一定的局限性。

确定数据集的有意义的邻近性度量比确定它的统计分布更容易。这种方法比统计学方法更一般、更容易使用，因为一个对象的离群点得分由到它的k-最近邻（KNN）的距离给定。

需要注意的是：离群点得分对k的取值高度敏感。如果k太小，则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。

优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

5. 基于密度的离群点检测

从基于密度的观点来说，离群点是在低密度区域中的对象。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。

优缺点：（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

6. 基于聚类的方法来做异常点检测

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇，那么该对象属于离群点。

离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。这也是k-means算法的缺点，对离群点敏感。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

7. 专门的离群点检测

其实以上说到聚类方法的本意是是无监督分类，并不是为了寻找离群点的，只是恰好它的功能可以实现离群点的检测，算是一个衍生的功能。

‘贰’ 在标准差未知情况下离群值检测可以用f检验法吗

摘要 当离群值数量仅为1时，格鲁布斯法综合犯错的可能性最低，国际标准化组织(International Standards Organization)和美国材料试验协会(The American Society for Testing and Materials)均推荐适用格鲁布斯法[7]。在国标[13]中，离群值的个数为1时，选用的方法是格鲁布斯法和狄克逊法。当限定检出离群值的个数大于1时，格鲁布斯法检验的结果不是最优的，一般采用偏度-峰度检验法或者狄克逊检验法。但是偏度-峰度检验法由于计算工作量大，进行异常值的连续检验的时候还有可能发生“判多为少”或“判有为无”错误的可能，并未能广泛应用。

‘叁’ 什么是基于聚类的离群点监测方法

本论文提出来一个聚类方法用以检测离群点。通过使用k均值聚类算法来从数据集中划分聚类。离聚类中心比较近的点不太可能是离群点，同时我们可以从聚类中去除掉这些点。接下来计算剩下的点和离群点的距离。需要计算的离群点度的降低可能是由于一些点的去除。我们声明离群度最高的点作为离群点。实验数据使用真实数据集，并论证得知，即使所计算的数据比较少，但所提出的方法比现存的方法优越。

‘肆’ 离群因子怎么算

离群因子算法主要有基于统计、聚类、分类、信息论、距离、密度等相关的方法。
其中算法思想是局部离群因子(LOF，又叫局部异常因子)算法是Breunig于2000年提出的一种基于密度的局部离群点检测算法，该方法适用于不同类簇密度分散情况迥异的数据。如下图中，集合C1是低密度区域，集合C2是高密度区域，依据传统的基于密度的离群点检测算法，点p与C2中邻近点的距离小于C1中任何一个数据点与其邻近点的距离，点p会被看作是正常的点，而在局部来看，点p却是事实上的孤立点，LOF算法即可以有效地实现对该种情形的离群点检测。

‘伍’ 如何使用分类,关联规则挖掘和离群点检测为企业服务

摘要 聚类:聚类是无监督的，在没有指定属性的情况下进行，从而发现不同群体，比如用于网络社区发现

‘陆’ 常用的数据净化方法

鼠尾草烟熏净化法

图片来源于网络
鼠尾草的烟熏净化法，实在是我的大爱。鼠尾草是许多仪式中的一种神圣元素。无论是在进行魔法仪式，开牌仪式，塔罗占卜、冥想之前，水晶，日常的空间净化...我几乎都会用到鼠尾草来进行净化。同时鼠尾草也可以用来做茶喝或是用来制作精油。当然还有用鼠尾草、雪松、薰衣草等净化类草药手工制作而成的草药棒。利用点燃后的烟雾把负能量带走空间区域或是物品本身。用鼠尾草的烟熏来净化，是非常快速而有效的方法。

图片来源于网络
鼠尾草烟熏净化使用方法：

1、在开始鼠尾草烟熏净化前，把门窗关好，然后点燃鼠尾草，把它放在一个贝壳或防火防烫的容器里（因为在燃烧的过程中会产生灰烬）。

2、让它的明火自然灭火，不要用嘴吹熄，我们主要是利用鼠尾草的烟来进行空间的净化。

3、使用者首先净化自身的能量。

4、然后在从入户门处开始顺时针方向绕着房间净化。注意要关掉风扇或是空调，风扇的风有可能会把灰烬吹得到处都是。

5、把鼠尾草的烟雾带入整个房屋里，特别要注意是一些阴暗的角落可以让烟熏久一点。如果室内空气流通得好，你走动，基本上烟也会跟着流动。某些角落也是可以利用一根羽毛，把烟轻轻扇过去。

个人使用心得：衣柜也是可以烟熏的，不过你的衣服上可能会留下鼠尾草的气味，视情况而定吧，也可以用别的净化方式代替。
6、最后，最重要的一步是，当你把鼠尾草的烟带到房屋的每个角落后，让这股烟停留在室内8-10分钟（视情况而定时长），然后把窗户打开，让烟雾带走这些负能量流出窗外。

7、同时，灰烬的处理，把它们装起来，当天就扔掉或是把它们冲到马桶里。因为灰烬也吸附了负能量了，不要留它们过夜。

图片来源网络
通常你在市面上买到的鼠尾草可以作净化来用。

不过题外话，小知识，墨西哥鼠尾草是有致幻性，被禁止的。

要注意的是，烧鼠尾草也要看看同屋的人能不能闻鼠尾草这个味。因为鼠尾草的味道很特别，有些人是特别喜欢这个味道的，有些人是对这个味不喜欢或是敏感的。所以如果你是居住在大家庭里，也要顾及其他人的情况。

另外，鼠尾草不能烧太多，会上头。第一次使用鼠尾草净化需要用足量，之后减少用量。一般情况20平的空间，20-30g可以了，太多也浪费。当然如果你觉得空间负能量实在太多，可以一把一把的土豪烧。

二、魔法蜡烛火焰净化法

我在使用魔法蜡烛的火焰净化
用带有净化功效的魔法蜡烛来进行能量的净化，也是我的最爱之一。

因为魔法蜡烛自身就具备了土、火、风、水四大元素。另外再有 精神 这个第五元素的注入。让火焰的光和热驱散和燃烧任何积聚的负能量。

通常在进行任何仪式前或者是点燃其他功效的魔法蜡烛，使用带有净化功效的魔法蜡烛，把周围的能量先进行净化，再来开启，效果会大大增加。

进行仪式或是放咒语时，你也可以在你的仪式空间东南西北四个角落里点燃蜡烛，帮助你建立神圣空间。

手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛
对于能量工作者来说，及时清理净化自身及周围的能量太重要了，无论是满月净化仪式还是日常净化，我都超爱点燃这款红色莉莉周手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛。它不仅有净化能量的功效，同时也协助你补充能量。提升你周围的能量空间。同时也可以提升你的直觉力和占卜力。

‘柒’ 如何判断和处理离群点

用残差分析，常用标准化残差图，以本人未在正负3个标准差意外区域出现的点为离群点，正负2个标准差以外为可能离群点。

‘捌’ 离群点怎么区分方向

用残差分析，常用标准化残差图。
以本人未在正负3个标准差意外区域出现的点为离群点，正负2个标准差以外为可能离群点。
也可以用公式取得每个值与均值的绝对差值，至于绝对差值多大的时候判断为离群值。

‘玖’ ks检验如何踢出离群值

在大多数研究领域中，离群点也被称为异常值，在数据挖掘中，往往是要剔除掉这些数据，可是离群点的出现也是有一点的意义的。比如下图。该图是一个用户一年中的用水量情况，很明显的可以看出，有一天的数据是明显不正常的，该点是离群点。在我们研究他的用水规律时，该点是理当去除的。可是，它也提供给我们一个信息，在数据统计方式正确的情况下，那天的用水出现了不合理性（可能是用户忘记关水、水表异常等）。应当利用起这些异常。离群点的检测的意义也就存在了。

‘拾’ 用spss怎么找出离群值和异常值

第一步：异常值检测
异常值的检验有很多种方法，最常见的是图示法，也有使用分析方法进行探索，如下说明。
箱盒图：实验研究时经常使用，非常直观的展示出异常数据；
散点图：研究X和Y的关系时，可直观展示查看是否有异常数据；
描述分析：可通过最大最小值等各类指标大致判断数据是否有异常；
其它：比如结合正态分布图，频数分析等判断是否有异常值。
02
第二步：异常值判定
上述已经说明异常值会带来严重的影响，扭曲数据结论等。那么首先需要设定异常值的标准，然后再对其进行处理。异常值的判定标准并不统一，更多是通过人为标准进行设定，SPSSAU提供以下几类判定规则：
缺失数字
小于设定标准的数字
大于设定标准的数字
大于3个标准差

03
第三步：异常值处理
完成异常值的判定之后，接着需要进行处理；SPSSAU提供两类处理方式，分别为：
1、设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法
2、填补；如果异常值非常多时，则可能需要进行填补设置，SPSSAU共提供平均值，中位数，众数和随机数共四种填补方式。建议使用平均值填补方式。