最近邻分析方法的缺点

⑴ k近邻算法如何做回归分析

有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。也就是说，现在， 我们不知道中间那个绿色的数据是从属于哪一类（蓝色小正方形or红色小三角形），下面，我们就要解决这个问题：给这个绿色的圆分类。我们常说，物以类聚，人以群分，判别一个人是一个什么样品质特征的人，常常可以从他/她身边的朋友入手，所谓观其友，而识其人。我们不是要判别上图中那个绿色的圆是属于哪一类数据么，好说，从它的邻居下手。但一次性看多少个邻居呢？从上图中，你还能看到：
如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。 如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。 于此我们看到，当无法判定当前待分类点是从属于已知分类中的哪一类时，我们可以依据统计学的理论看它所处的位置特征，衡量它周围邻居的权重，而把它归为(或分配)到权重更大的那一类。这就是K近邻算法的核心思想。
KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
KNN 算法本身简单有效，它是一种 lazy-learning 算法，分类器不需要使用训练集进行训练，训练时间复杂度为0。KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n，那么 KNN 的分类时间复杂度为O(n)。
KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。
K 近邻算法使用的模型实际上对应于对特征空间的划分。K 值的选择，距离度量和分类决策规则是该算法的三个基本要素： K 值的选择会对算法的结果产生重大影响。K值较小意味着只有与输入实例较近的训练实例才会对预测结果起作用，但容易发生过拟合；如果 K 值较大，优点是可以减少学习的估计误差，但缺点是学习的近似误差增大，这时与输入实例较远的训练实例也会对预测起作用，是预测发生错误。在实际应用中，K 值一般选择一个较小的数值，通常采用交叉验证的方法来选择最优的 K 值。随着训练实例数目趋向于无穷和 K=1 时，误差率不会超过贝叶斯误差率的2倍，如果K也趋向于无穷，则误差率趋向于贝叶斯误差率。 该算法中的分类决策规则往往是多数表决，即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别 距离度量一般采用 Lp 距离，当p=2时，即为欧氏距离，在度量之前，应该将每个属性的值规范化，这样有助于防止具有较大初始值域的属性比具有较小初始值域的属性的权重过大。 KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。可以采用权值的方法（和该样本距离小的邻居权值大）来改进。
该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。
实现 K 近邻算法时，主要考虑的问题是如何对训练数据进行快速 K 近邻搜索，这在特征空间维数大及训练数据容量大时非常必要。

⑵ 最近邻分类器怎么降低时间和空间复杂度

进行分类匹配
一般的分类器，比如决策树和支撑向量机，只要有训练数据可用，它们就开始学习从输入属性到类标号的映射模型，这类学习策略被称为积极学习方法。与之相对的是消极学习算法，它的策略是推迟对训练数据的建模，在需要分类测试样例时再进行。消极学习的一个例子是Rote分类器，它记住整个训练集，只有当测试样例和某个训练样例完全匹配时才进行分类。这个分类算法有个明显的缺陷就是经常会出现测试样例不能被分类的情况，因为没有任何训练样例与它们匹配。
对Rote分类器稍加改进就可以使其更具灵活性，那就是找出和测试样例属性比较接近的所有训练样例，这些训练样例被称为最近邻，可以用来确定测试样例的类标号。这和“物以类聚，人以群分”是一个道理。最近邻分类器把每个训练样例看做dd维空间上的一个点，其中dd是属性个数，给定一个测试样例zz，计算zz与每个训练样例的邻近度，找出与之最近的kk个训练样例，将这kk个训练样例中出现最多的类标号赋给zz。
最近邻分类器的优点是不需要为训练集建立模型，最近邻分类器可以生成任何形状的决策边界。最近邻分类器的缺点容易受到噪声的影响，往往需要对训练集进行预处理才能使用，每一次分类耗时长。

⑶ 使用Node.js如何实现K最近邻分类算法

源于数据挖掘的一个作业， 这里用Node.js技术来实现一下这个机器学习中最简单的算法之一k-nearest-neighbor算法(k最近邻分类法)。
k-nearest-neighbor-classifier
还是先严谨的介绍下。急切学习法（eager learner）是在接受待分类的新元组之前就构造了分类模型，学习后的模型已经就绪，急着对未知的元组进行分类，所以称为急切学习法，诸如决策树归纳，贝叶斯分类等都是急切学习法的例子。惰性学习法（lazy learner）正好与其相反，直到给定一个待接受分类的新元组之后，才开始根据训练元组构建分类模型，在此之前只是存储着训练元组，所以称为惰性学习法，惰性学习法在分类进行时做更多的工作。
本文的knn算法就是一种惰性学习法，它被广泛应用于模式识别。knn基于类比学习，将未知的新元组与训练元组进行对比，搜索模式空间，找出最接近未知元组的k个训练元组，这里的k即是knn中的k。这k个训练元祖就是待预测元组的k个最近邻。
balabala了这么多，是不是某些同学想大喊一声..speak Chinese! 还是来通俗的解释下，然后再来看上面的理论应该会明白很多。小时候妈妈会指着各种各样的东西教我们，这是小鸭子，这个红的是苹果等等，那我们哼哧哼哧的看着应答着，多次被教后再看到的时候我们自己就能认出来这些事物了。主要是因为我们在脑海像给这个苹果贴了很多标签一样，不只是颜色这一个标签，可能还有苹果的形状大小等等。这些标签让我们看到苹果的时候不会误认为是橘子。其实这些标签就对应于机器学习中的特征这一重要概念，而训练我们识别的过程就对应于泛化这一概念。一台iphone戴了一个壳或者屏幕上有一道划痕，我们还是能认得出来它，这对于我们人来说非常简单，但蠢计算机就不知道怎么做了，需要我们好好调教它，当然也不能过度调教2333，过度调教它要把其他手机也认成iphone那就不好了，其实这就叫过度泛化。
所以特征就是提取对象的信息，泛化就是学习到隐含在这些特征背后的规律，并对新的输入给出合理的判断。
我们可以看上图，绿色的圆代表未知样本，我们选取距离其最近的k个几何图形，这k个几何图形就是未知类型样本的邻居，如果k=3，我们可以看到有两个红色的三角形，有一个蓝色的三正方形，由于红色三角形所占比例高，所以我们可以判断未知样本类型为红色三角形。扩展到一般情况时，这里的距离就是我们根据样本的特征所计算出来的数值，再找出距离未知类型样本最近的K个样本，即可预测样本类型。那么求距离其实不同情况适合不同的方法，我们这里采用欧式距离。
综上所述knn分类的关键点就是k的选取和距离的计算。
2. 实现
我的数据是一个xls文件，那么我去npm搜了一下选了一个叫node-xlrd的包直接拿来用。
// node.js用来读取xls文件的包
var xls = require('node-xlrd');
然后直接看文档实例即可，把数据解析后插入到自己的数据结构里。
var data = [];// 将文件中的数据映射到样本的属性var map = ['a','b','c','d','e','f','g','h','i','j','k'];// 读取文件
xls.open('data.xls', function(err,bk){
if(err) {console.log(err.name, err.message); return;}
var shtCount = bk.sheet.count;
for(var sIdx = 0; sIdx < shtCount; sIdx++ ){
var sht = bk.sheets[sIdx],
rCount = sht.row.count,
cCount = sht.column.count;
for(var rIdx = 0; rIdx < rCount; rIdx++){
var item = {};
for(var cIdx = 0; cIdx < cCount; cIdx++){
item[map[cIdx]] = sht.cell(rIdx,cIdx);
}
data.push(item);
}
}
// 等文件读取完毕后 执行测试
run();
});
然后定义一个构造函数Sample表示一个样本，这里是把刚生成的数据结构里的对象传入，生成一个新的样本。
// Sample表示一个样本
var Sample = function (object) {
// 把传过来的对象上的属性克隆到新创建的样本上
for (var key in object)
{
// 检验属性是否属于对象自身
if (object.hasOwnProperty(key)) {
this[key] = object[key];
}
}
}
再定义一个样本集的构造函数
// SampleSet管理所有样本 参数k表示KNN中的kvar SampleSet = function(k) {
this.samples = [];
this.k = k;
};
// 将样本加入样本数组
SampleSet.prototype.add = function(sample) {
this.samples.push(sample);
}
然后我们会在样本的原型上定义很多方法，这样每个样本都可以用这些方法。
// 计算样本间距离 采用欧式距离
Sample.prototype.measureDistances = function(a, b, c, d, e, f, g, h, i, j, k) {
for (var i in this.neighbors)
{
var neighbor = this.neighbors[i];
var a = neighbor.a - this.a;
var b = neighbor.b - this.b;
var c = neighbor.c - this.c;
var d = neighbor.d - this.d;
var e = neighbor.e - this.e;
var f = neighbor.f - this.f;
var g = neighbor.g - this.g;
var h = neighbor.h - this.h;
var i = neighbor.i - this.i;
var j = neighbor.j - this.j;
var k = neighbor.k - this.k;
// 计算欧式距离
neighbor.distance = Math.sqrt(a*a + b*b + c*c + d*d + e*e + f*f + g*g + h*h + i*i + j*j + k*k);
}
};
// 将邻居样本根据与预测样本间距离排序
Sample.prototype.sortByDistance = function() {
this.neighbors.sort(function (a, b) {
return a.distance - b.distance;
});
};
// 判断被预测样本类别
Sample.prototype.guessType = function(k) {
// 有两种类别 1和-1
var types = { '1': 0, '-1': 0 };
// 根据k值截取邻居里面前k个
for (var i in this.neighbors.slice(0, k))
{
var neighbor = this.neighbors[i];
types[neighbor.trueType] += 1;
}
// 判断邻居里哪个样本类型多
if(types['1']>types['-1']){
this.type = '1';
} else {
this.type = '-1';
}
}
注意到我这里的数据有a-k共11个属性，样本有1和-1两种类型，使用truetype和type来预测样本类型和对比判断是否分类成功。
最后是样本集的原型上定义一个方法，该方法可以在整个样本集里寻找未知类型的样本，并生成他们的邻居集，调用未知样本原型上的方法来计算邻居到它的距离，把所有邻居按距离排序，最后猜测类型。
// 构建总样本数组，包含未知类型样本
SampleSet.prototype.determineUnknown = function() {

for (var i in this.samples)
{
// 如果发现没有类型的样本
if ( ! this.samples[i].type)
{
// 初始化未知样本的邻居
this.samples[i].neighbors = [];
// 生成邻居集
for (var j in this.samples)
{
// 如果碰到未知样本 跳过
if ( ! this.samples[j].type)
continue;
this.samples[i].neighbors.push( new Sample(this.samples[j]) );
}
// 计算所有邻居与预测样本的距离
this.samples[i].measureDistances(this.a, this.b, this.c, this.d, this.e, this.f, this.g, this.h, this.k);
// 把所有邻居按距离排序
this.samples[i].sortByDistance();
// 猜测预测样本类型
this.samples[i].guessType(this.k);
}
}
};
最后分别计算10倍交叉验证和留一法交叉验证的精度。
留一法就是每次只留下一个样本做测试集，其它样本做训练集。
K倍交叉验证将所有样本分成K份，一般均分。取一份作为测试样本，剩余K-1份作为训练样本。这个过程重复K次，最后的平均测试结果可以衡量模型的性能。
k倍验证时定义了个方法先把数组打乱随机摆放。
// helper函数 将数组里的元素随机摆放
function ruffle(array) {
array.sort(function (a, b) {
return Math.random() - 0.5;
})
}
剩余测试代码好写，这里就不贴了。
测试结果为
用余弦距离等计算方式可能精度会更高。
3. 总结
knn算法非常简单，但却能在很多关键的地方发挥作用并且效果非常好。缺点就是进行分类时要扫描所有训练样本得到距离，训练集大的话会很慢。
可以用这个最简单的分类算法来入高大上的ML的门，会有点小小的成就感。

⑷ 邻近算法的缺点

该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。
该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。
可理解性差，无法给出像决策树那样的规则。

⑸ 常用的数据净化方法

鼠尾草烟熏净化法

图片来源于网络
鼠尾草的烟熏净化法，实在是我的大爱。鼠尾草是许多仪式中的一种神圣元素。无论是在进行魔法仪式，开牌仪式，塔罗占卜、冥想之前，水晶，日常的空间净化...我几乎都会用到鼠尾草来进行净化。同时鼠尾草也可以用来做茶喝或是用来制作精油。当然还有用鼠尾草、雪松、薰衣草等净化类草药手工制作而成的草药棒。利用点燃后的烟雾把负能量带走空间区域或是物品本身。用鼠尾草的烟熏来净化，是非常快速而有效的方法。

图片来源于网络
鼠尾草烟熏净化使用方法：

1、在开始鼠尾草烟熏净化前，把门窗关好，然后点燃鼠尾草，把它放在一个贝壳或防火防烫的容器里（因为在燃烧的过程中会产生灰烬）。

2、让它的明火自然灭火，不要用嘴吹熄，我们主要是利用鼠尾草的烟来进行空间的净化。

3、使用者首先净化自身的能量。

4、然后在从入户门处开始顺时针方向绕着房间净化。注意要关掉风扇或是空调，风扇的风有可能会把灰烬吹得到处都是。

5、把鼠尾草的烟雾带入整个房屋里，特别要注意是一些阴暗的角落可以让烟熏久一点。如果室内空气流通得好，你走动，基本上烟也会跟着流动。某些角落也是可以利用一根羽毛，把烟轻轻扇过去。

个人使用心得：衣柜也是可以烟熏的，不过你的衣服上可能会留下鼠尾草的气味，视情况而定吧，也可以用别的净化方式代替。
6、最后，最重要的一步是，当你把鼠尾草的烟带到房屋的每个角落后，让这股烟停留在室内8-10分钟（视情况而定时长），然后把窗户打开，让烟雾带走这些负能量流出窗外。

7、同时，灰烬的处理，把它们装起来，当天就扔掉或是把它们冲到马桶里。因为灰烬也吸附了负能量了，不要留它们过夜。

图片来源网络
通常你在市面上买到的鼠尾草可以作净化来用。

不过题外话，小知识，墨西哥鼠尾草是有致幻性，被禁止的。

要注意的是，烧鼠尾草也要看看同屋的人能不能闻鼠尾草这个味。因为鼠尾草的味道很特别，有些人是特别喜欢这个味道的，有些人是对这个味不喜欢或是敏感的。所以如果你是居住在大家庭里，也要顾及其他人的情况。

另外，鼠尾草不能烧太多，会上头。第一次使用鼠尾草净化需要用足量，之后减少用量。一般情况20平的空间，20-30g可以了，太多也浪费。当然如果你觉得空间负能量实在太多，可以一把一把的土豪烧。

二、魔法蜡烛火焰净化法

我在使用魔法蜡烛的火焰净化
用带有净化功效的魔法蜡烛来进行能量的净化，也是我的最爱之一。

因为魔法蜡烛自身就具备了土、火、风、水四大元素。另外再有 精神 这个第五元素的注入。让火焰的光和热驱散和燃烧任何积聚的负能量。

通常在进行任何仪式前或者是点燃其他功效的魔法蜡烛，使用带有净化功效的魔法蜡烛，把周围的能量先进行净化，再来开启，效果会大大增加。

进行仪式或是放咒语时，你也可以在你的仪式空间东南西北四个角落里点燃蜡烛，帮助你建立神圣空间。

手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛
对于能量工作者来说，及时清理净化自身及周围的能量太重要了，无论是满月净化仪式还是日常净化，我都超爱点燃这款红色莉莉周手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛。它不仅有净化能量的功效，同时也协助你补充能量。提升你周围的能量空间。同时也可以提升你的直觉力和占卜力。

⑹ 数据挖掘常用算法有哪些

1、 朴素贝叶斯

朴素贝叶斯(NB)属于生成式模型(即需要计算特征与类的联合概率分布)，计算过程非常简单，只是做了一堆计数。NB有一个条件独立性假设，即在类已知的条件下，各个特征之间的分布是独立的。这样朴素贝叶斯分类器的收敛速度将快于判别模型，如逻辑回归，所以只需要较少的训练数据即可。即使NB条件独立假设不成立，NB分类器在实践中仍然表现的很出色。它的主要缺点是它不能学习特征间的相互作用，用mRMR中的R来讲，就是特征冗余。

2、逻辑回归(logistic regression)

逻辑回归是一个分类方法，属于判别式模型，有很多正则化模型的方法(L0，L1，L2)，而且不必像在用朴素贝叶斯那样担心特征是否相关。与决策树与SVM相比，还会得到一个不错的概率解释，甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法online gradient descent)。如果需要一个概率架构(比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间)，或者希望以后将更多的训练数据快速整合到模型中去，那么可以使用它。

3、 线性回归

线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化。

4、最近邻算法——KNN

KNN即最近邻算法，其主要过程为：计算训练样本和测试样本中每个样本点的距离(常见的距离度量有欧式距离，马氏距离等);对上面所有的距离值进行排序;选前k个最小距离的样本;根据这k个样本的标签进行投票，得到最后的分类类别;如何选择一个最佳的K值，这取决于数据。

5、决策树

决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。

6、SVM支持向量机

高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，运行和调参也有些烦人，而随机森林却刚好避开了这些缺点，比较实用。

⑺ 机器学习中算法的优缺点之最近邻算法

机器学习中有个算法是十分重要的，那就是最近邻算法，这种算法被大家称为KNN。我们在学习机器学习知识的时候一定要学习这种算法，其实不管是什么算法都是有自己的优缺点的，KNN算法也不例外，在这篇文章中我们就详细的给大家介绍一下KNN算法的优缺点，大家一定要好好学起来哟。
说到KNN算法我们有必要说一下KNN算法的主要过程，KNN算法的主要过程有四种，第一就是计算训练样本和测试样本中每个样本点的距离，第二个步骤就是对上面所有的距离值进行排序(升序)。第三个步骤就是选前k个最小距离的样本。第四个步骤就是根据这k个样本的标签进行投票，得到最后的分类类别。
那么大家是否知道如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响，但会使类别之间的界限变得模糊。一般来说，一个较好的K值可通过各种启发式技术来获取，比如说交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。近邻算法具有较强的一致性结果，随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。
那么KNN算法的优点是什么呢？KNN算法的优点具体体现在六点，第一就是对数据没有假设，准确度高，对outlier不敏感。第二就是KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练。第三就是KNN理论简单，容易实现。第四就是理论成熟，思想简单，既可以用来做分类也可以用来做回归。第五就是可用于非线性分类。第六就是训练时间复杂度为O(n)。由此可见，KNN算法的优点是有很多的。
那么KNN算法的缺点是什么呢？这种算法的缺点具体体现在六点，第一就是样本不平衡时，预测偏差比较大。第二就是KNN每一次分类都会重新进行一次全局运算。第三就是k值大小的选择没有理论选择最优，往往是结合K-折交叉验证得到最优k值选择。第四就是样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）效果差。第五就是需要大量内存。第六就是对于样本容量大的数据集计算量比较大。
正是由于这些优点和缺点，KNN算法应用领域比较广泛，在文本分类、模式识别、聚类分析，多分类领域中处处有KNN算法的身影。
在这篇文章中我们给大家介绍了很多关于KNN算法的相关知识，通过对这些知识的理解相信大家已经知道该算法的特点了吧，希望这篇文章能够帮助大家更好的理解KNN算法。

⑻ 如何判别测量数据中是否有异常值

一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的介绍。

1. 简单统计

如果使用pandas，我们可以直接使用describe()来观察数据的统计性描述（只是粗略的观察一些统计量），不过统计数据为连续型的，如下：

df.describe()红色箭头所指就是异常值。

以上是常用到的判断异常值的简单方法。下面来介绍一些较为复杂的检测异常值算法，由于涉及内容较多，仅介绍核心思想，感兴趣的朋友可自行深入研究。

4. 基于模型检测

这种方法一般会构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。如果模型是簇的集合，则异常是不显着属于任何簇的对象；如果模型是回归时，异常是相对远离预测值的对象。

离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。

比如特征工程中的RobustScaler方法，在做数据特征值缩放的时候，它会利用数据特征的分位数分布，将数据根据分位数划分为多段，只取中间段来做缩放，比如只取25%分位数到75%分位数的数据做缩放。这样减小了异常数据的影响。

优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

5. 基于近邻度的离群点检测

统计方法是利用数据的分布来观察异常值，一些方法甚至需要一些分布条件，而在实际中数据的分布很难达到一些假设条件，在使用上有一定的局限性。

确定数据集的有意义的邻近性度量比确定它的统计分布更容易。这种方法比统计学方法更一般、更容易使用，因为一个对象的离群点得分由到它的k-最近邻（KNN）的距离给定。

需要注意的是：离群点得分对k的取值高度敏感。如果k太小，则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。

优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

5. 基于密度的离群点检测

从基于密度的观点来说，离群点是在低密度区域中的对象。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。

优缺点：（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

6. 基于聚类的方法来做异常点检测

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇，那么该对象属于离群点。

离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。这也是k-means算法的缺点，对离群点敏感。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

7. 专门的离群点检测

其实以上说到聚类方法的本意是是无监督分类，并不是为了寻找离群点的，只是恰好它的功能可以实现离群点的检测，算是一个衍生的功能。

⑼ SPSS分类分析 最近邻元素分析

SPSS分类分析：最近邻元素分析
一、最近邻元素分析（分析-分类-最近邻元素）
1、概念：根据个案间的相似性来对个案进行分类。类似个案相互靠近，而不同个案相互远离。因此，通过两个个案之间的距离可以测量他们的相似性。相互靠近的个案称为“邻元素。”当出现新个案（保持）时，将计算它与模型中每个个案之间的距离。计算得出最相似个案–最近邻元素–的分类，并将新个案放入包含最多最近邻元素的类别中。
2、变量：（分析-分类-最近邻元素-变量）
◎目标（可选）。如果未指定目标（因变量或响应），则过程仅查找k个最近邻元素–而不会执行任何分类或预测。◎标准化刻度特征。标准化特征具有相同的值范围，这可改进估计算法的性能。使用经调整后的标准化[2*(x min)/(max min)]1。调整后的标准化值介于1和1之间。◎焦点个案标识（可选）。这可以标记感兴趣的个案。例如，研究员希望确定学区的测验分数–焦点个案–是否与类似学区的测验分数相当。他使用最近邻元素分析来查找在给定特征组方面最相似的学区。然后，他将焦点学区的测验分数与最近邻学区的分数进行比较。◎个案标签（可选）。在特征空间图表、对等图表和象限图中使用这些值来标记个案。
3、相邻元素：（分析-分类-最近邻元素-相邻元素）
1）最近邻元素的数目(k)。指定最近邻元素的数目。注意，使用大量的邻元素不一定会得到更准确的模型。2）距离计算。该度规用于指定在测量个案相似性中使用的距离度规。◎Euclidean度规。两个个案x和y之间的距离，为个案值之间的平方差在所有维度上之和的平方根。◎城市街区度规。两个个案之间的距离是个案值之间绝对差在所有维度上之和。又称为Manhattan距离。
4、特征：（分析-分类-最近邻元素-特征）
如果在“变量”选项卡中指定了目标，使用“特征”选项卡可以为特征选择请求或指定选项。默认情况下，特征选择会考虑所有特征，但可以选择特征子集以强制纳入模型。
中止准则。在每一步上，如果添加特征可以使误差最小（计算为分类目标的误差率和刻度目标的平方和误差），则考虑将其纳入模型中。继续向前选择，直到满足指定的条件。◎指定的特征数目。除了那些强制纳入模型的特征外，算法还会添加固定数目的特征。指定一个正整数。减少所选择的数目值可以创建更简约的模型，但存在缺失重要特征的风险。增加所选择的数目值可以涵盖所有重要特征，但又存在因特征添加而增加模型误差的风险。◎绝对误差比率的最小变化。当绝对误差比率变化表明无法通过添加更多特征来进一步改进模型时，算法会停止。指定一个正数。减少最小变化值将倾向于包含更多特征，但存在包含对模型价值不大的特征的风险。增加最小变化值将倾向于排除更多特征，但存在丢失对模型较重要的特征的风险。最小变化的“最佳”值将取决于您的数据和具体应用。请参见输出中的“特征选择误差日志”，以帮助您评估哪些特征最重要。
5、分区（分析-分类-最近邻元素-分区）
使用“分区”选项卡可以将数据集划分为培训和坚持集，并在适当时候将个案分配给交叉验证折。
1）训练和坚持分区。此组指定将活动数据集划分为训练样本或坚持样本的方法。训练样本包含用于训练最近邻元素模型的数据记录；数据集中的某些个案百分比必须分配给训练样本以获得一个模型。坚持样本是用于评估最终模型的独立数据记录集；坚持样本的误差给出一个模型预测能力的“真实”估计值，因为坚持个案不用于构建模型。◎随机分配个案到分区。指定分配给训练样本的个案百分比。其余的分配给坚持样本。◎使用变量分配个案。指定一个将活动数据集中的每个个案分配到训练或坚持样本中的数值变量。变量为正值的个案被分配到训练样本中，值为0或负值的个案被分配到坚持样本中。具有系统缺失值的个案会从分析中排除。分区变量的任何用户缺失值始终视为有效。
2）交叉验证折。V折交叉验证用于确定“最佳”邻元素数目。因性能原因，它无法与特征选择结合使用。交叉验证将样本划分为许多子样本，或折。然后，生成最近邻元素模型，并依次排除每个子样本中的数据。第一个模型基于第一个样本折的个案之外的所有个案，第二个模型基于第二个样本折的个案之外的所有个案，依此类推。对于每个模型，估计其错误的方法是将模型应用于生成它时所排除的子样本。“最佳”最近邻元素数为在折中产生最小误差的数量。◎随机分配个案到折。指定应当用于交叉验证的折数。该过程将个案随机分配到折，从1编号到V（折数）。◎使用变量分配个案。指定一个将活动数据集中的每个个案分配到折中的数值变量。变量必须为数值，其值为从1到V的数字。如果此范围中的任何值缺失，且位于任何拆分上（如果拆分文件有效），这将导致误差。
3）为Mersenne扭曲器设置种子。设置种子允许您复制分析。使用此控件类似于将“Mersenne扭曲器”设为活动生成器并在“随机数生成器”对话框中指定固定起始点，两者的重大差别在于在此对话框中设置种子会保留随机数生成器的当前状态并在分析完成后恢复该状态。
二、结果说明（运行后的结果解释）
1、模型视图：在“输出”选项卡中选择图表和表时，过程会在查看器中创建“最近邻元素模型”对象。激活（双击）该对象，可获得模型的交互式视图。此模型视图有2个面板窗口：◎第一个面板显示模型概览，称为主视图。◎第二个面板显示两种视图类型之一
2、特征空间：特征空间图表是有关特征空间（如果存在3个以上特征，则为子空间）的交互式图形。每条轴代表模型中的某个特征，图表中的点位置显示个案这些特征在培训和坚持分区中的值。
3、变量重要性：通常，您将需要将建模工作专注于最重要的变量，并考虑删除或忽略那些最不重要的变量。变量重要性图表可以在模型估计中指示每个变量的相对重要性，从而帮助您实现这一点。由于它们是相对值，因此显示的所有变量的值总和为1.0。变量重要性与模型精度无关。它只与每个变量在预测中的重要性有关，而不涉及预测是否精确。
4、对等：该图表显示焦点个案及其在每个特征和目标上k个最近邻元素。它仅在“特征空间”图表中选择了焦点个案时可用。
5、最近邻元素距离：该表只显示焦点个案的k个最近邻元素与距离。它仅当在“变量”选项卡上指定了焦点个案标识符时可用，且仅显示由此变量标识的焦点个案。
6、象限图：该图表显示焦点个案及其在散点图（点图，取决于目标的测量级别）上k个最近邻元素。目标在y轴上，刻度特征在x轴上，按特征划分面板。它仅当存在目标，且在“特征空间”图表中选择了焦点个案时可用。
7、特征选择误差日志：对于该图表上的点，其y轴值为模型的误差（误差率或平方和误差，取决于目标的测量级别），x轴上列出模型的特征（加上x轴左侧的所有特征）。该图表仅当存在目标，且特征选择有效时可用。
8、K选择误差日志：对于该图表上的点，其y轴值为模型的误差（误差率或平方和误差，取决于目标的测量级别），x轴上为最近邻元素数目（k)。该图表仅当存在目标，且k选择有效时可用。
9、分类表：该表显示按分区对目标观察与预测值的交叉分类。它仅当存在分类目标时可用。坚持分区中的（缺失）行包含在目标上具有缺失值的坚持个案。这些个案对“坚持样本：整体百分比”有贡献，但对“正确百分比”无影响。