几种判别分析方法优缺点

⑴ 判别分析（Fisher判别方法）

20210308 未完更新中

为了克服“维数灾难”，人们将高维数据投影到低维空间上来，并保持必要的特征，这样，一方面数据点变得比较密集一些，另一方面，可以在低维空间上进行研究。

Fisher判别分析的基本思想 ：选取适当的投影方向，将样本数据进行投影，使得投影后各样本点尽可能分离开来，即：使得投影后各样本 类内 离差平方和尽可能小，而使各样本 类间 的离差平方和尽可能大。

①设已知有两个类 和 ，在已知的数据中， 类有 个个体， 类有 个个体，即：

注意：个体 为列向量，列向量的元素为不同特征的具体数值。如，小明身高180，体重70，可以设小明这个个体为
②计算两个类的 均值 ：
  
③计算两个类的 类内离差平方和 矩阵：

总的离差阵为
类间离差阵为
④设需要找的投影向量为 ，将所有的个体 投影到 方向上，则可以得到投影后的结果为 ，即：
第一类个体在 方向上的投影结果为： ；
第二类个体在 方向上的投影结果为： ；
⑤计算投影后两类的均值与类内离差平方和矩阵

总离差：

类间方差：

⑥要使得在新的（投影后）数据空间中，数据的分离性能最好，即要使得两个类的类内距离最小，类间距离最大，建立目标函数 ，希望找到合适的投影向量 ，使得目标函数 达到最大。

采用Lagrange乘数法求解。令分母等于非零常数，即：

定义lagrange函数为

对 求偏导得

又矩阵 与 是对称矩阵，因此，上式可化简为

令 ，有

记上式得解为 ，则

继续化简有：

两边同时左乘 得：

因此， 即为矩阵 的最大特征值对应的特征向量

又

故

又 为一标量，因此
记

则

而标量 并不会影响 的投影方向。
综上所述， 的解为

⑵ 信用评分模型是什么分为哪些

1、信用评分模型是什么？

信用评分模型是近年来兴起的一种为了保障银行和其他金融部门的金融安全而设立的一种关于人身金融权限的划定模型。该模型指根据客户的信用历史资料，利用一定的信用评分模型，得到不同等级的信用分数，根据客户的信用分数，来决定客户所可以持有的金额权限，从而保证还款等业务的安全性。而随着在现代社会和公司中，贷款，信用卡的作用日渐突出，信用评分模型的发展前景不可估量。

2、分为哪些？

（1）判别分析模型
判别分析法是对研究对象所属类别进行判别的一种统计分析方法。进行判别分析必须已知观测对象的分类和若干表明观测对象特征的变量值。判别分析就是要从中筛选出能提供较多信息变量并建立判别函数，使推导出的判别函数对观测样本分类时的错判率最小。这种方法的理论基础是样本由两个分布有显着差异的子样本组成，并且它们拥有共同的属性。它起源于1936年Fisher引进的线性判别函数，这个函数的目的是寻找一个变量的组合，把两个拥有一些共同特征的组区分开来。

判别分析方法的优点适用于二元或多元性目标变量，能够判断，区分个体应该属于多个不同小组中的哪一组。自身也存在不可避免的缺点:该模型假设前提是自变量的分布都是正态分布的而实践中的数据往往不是完全的正态分布，从而导致统计结果的不可靠性。

（2）决策树方法
决策树模型是对总体进行连续的分割，以预测一定目标变量的结果的统计技术。决策树构造的输入是一组带有类别标记的例子构造的结果是一棵二叉或多叉树。构造决策树的方法是采用自上而下的递归构造。在实际中为进行个人信用分析选取个人信用作为目标属性，其他属性作为独立变量。所有客户被划分为两类，即好客户的和坏客户，将客户信用状况转换为是否好客户”(值为1或0而后利用数据集合来生成一个完整的决策树。在生成的决策树中可以建立一个规则基。一个规则基包含一组规则每一条规则对应决策树的一条不同路径，这条路径代表它经过节点所表示的条件的一条链接。通过创立一个对原始祥本进行最佳分类判别的决策树，采用递归分割方法使期望误判损失达到最小。

决策树模型的优点:浅层的决策树视觉上非常直观，容易解释;对数据的结构和分布不需做任何假设:可以容易地转化成商业规则。它的缺点在干:深层的决策树视觉上和解释上都比较困难;决策树对样本量的需求比较大;决策树容易过分微调于样本数据而失去稳定性和抗震荡性。

（3）回归分析法
回归分析法是目前为止应用最为广泛的一种信用评分模型这其中以着名的logistic回归为代表。除此之外，线性回归分析、probit回归等方法亦属于此类。最早使用回归分析的Orgler他采用线性回归模型制定了一个类似于信用卡的评分卡，他的研究表明消费者行为特征比申请表资料更能够预测未来违约可能性的大小。同数学规划方法中一样假设已经通过一定的方法从样本变量中提取出了若干指标作为特征向量回归分析的思想就是将这些指标变量拟合成为一个可以预测申请者违约率的被解释变量自然就是违约率p回归分析中应用最广泛的模型当属线性回归模型它是对大量的数据点中表现出来的数量关系模拟出一条直线，回日分析的目标就是使目标变量值和实际的目标变量值之间的误差最小。因此最早将回归方法应用于信用评分研究的模型，就是简单的线性回归模型，目前基于logistic回归的信用评分系统应用最为普遍。

⑶ spss分析方法-判别分析（转载）

判别分析是在分组已知的情况下，根据已经确定分类的对象的某些观测指标和所属类别来判断未知对象所属类别的一种统计学方法。 下面我们主要从下面四个方面来解说：

[if !supportLineBreakNewLine]

[endif]

实际应用

理论思想

建立模型

[if !supportLineBreakNewLine]

[endif]

分析结果

[if !supportLineBreakNewLine]

[endif]

一、实际应用

判别分析最初应用于考古学, 例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等.。慢慢的成为一种常用的分类分析方法，其通过已知的分类情况，根据数据的特征对其他研究对象进行预测归类。

在实际生活中，判别分析也被广泛用于预测事物的类别归属。

[if !supportLineBreakNewLine]

[endif]

企业营销中，营销人员可通过已有的客户特征数据（如消费金额、消费频次、购物时长、购买产品种类等），预测当前的消费者属于哪种类型的顾客（款式偏好型、偏重质量型、价格敏感型...），并根据其特点有针对性的采取有效的营销手段。或是根据各成分含量指标，判断白酒的品牌或水果的产地等。

除此以外，判别分析还可与聚类分析结合使用。比如，银行的贷款部门想要在发放贷款之前，可通过此方法判断申请人是否具有良好的信用风险。

[if !supportLineBreakNewLine]

[endif]

二、理论思想

判别分析首先需要对研究的对象进行分类，然后选择若干对观测对象能够较全面描述的变量，接着按照一定的判别标准建立一个或多个判别函数，使用研究对象的大量资料确定判别函数中的待定系数来计算判别指标。对一个未确定类别的个案只要将其代入判别函数就可以判断它属于哪一类总体。

[if !supportLineBreakNewLine]

[endif]

常用的判别分析方法有距离判别法、费舍尔判别法和贝叶斯判别法。

[if !supportLineBreakNewLine]

[endif]

费舍尔判别法：

费舍尔判别法利用投影的方法使多维问题简化为一维问题来处理。其通过建立线性判别函数计算出各个观测量在各典型变量维度上的坐标并得出样本距离各个类中心的距离，以此作为分类依据。

[if !supportLineBreakNewLine]

[endif]

贝叶斯判别法：

贝叶斯判别法通过计算待判定样品属于每个总体的条件概率并将样本归为条件概率最大的组。其主要思想如下：首先利用样本所属分类的先验概率通过贝叶斯法则求出样本所属分类后验概率，并依据该后验概率分布作出统计推断。

[if !supportLineBreakNewLine]

[endif]

距离判别法：

距离判别思想是根据各样品与各母体之间的距离远近作出判别的。其通过建立关于各母体的距离判别函数式，得出各样品与各母体之间的距离值，判别样品属于距离值最小的那个母体。

[if !supportLineBreakNewLine]

[endif]

[if !supportLineBreakNewLine]

[endif]

三、建立模型

[if !supportLineBreakNewLine]

[endif]

一般判别分析法的思路：

首先建立判别函数；

然后通过已知所属分类的观测量确定判别函数中的待定系数；

最后通过该判别函数对未知分类的观测量进行归类。

逐步判别分析法的思路： 逐步判别分析分为两步

首先根据自变量和因变量的相关性对自变量进行筛选，

然后使用选定的变量进行判别分析。

逐步判别分析是在判别分析的基础上采用有进有出的办法，把判别能力强的变量引入判别式的同时，将判别能力最差的变量别除。最终在判别式中只保留数量不多而判别能力强的变量。

数据条件：

[if !supportLists]§ [endif]用户使用的分组变量必须含有有限数目的不同类别，且编码为整数。名义自变量必须被重新编码为哑元变量或对比变量。

[if !supportLists]§ [endif]个案独立的

[if !supportLists]§ [endif]预测变量应有多变量正态分布，组内方差-协方差矩阵在组中应等同。

[if !supportLists]§ [endif]组成员身份假设为互斥的（不存在属于多个组的个案），且全体为穷举的（所有个案均是组成员）。如果组成员身份为真正的分类变量时，则此过程最有效；如果组成员身份基于连续变量的值（如高智商与低智商），则用户需要考虑使用线性回归以利用由连续变量本身提供的更为丰富的信息。

一般判别分析案例：

[if !supportLineBreakNewLine]

[endif]

题目：以下3种不同种类豇豆豆荚的质量、宽度和长度的统计表，每种类型都为20个样本，共60个样本。根据不同种类豇豆豆荚的特征，建立鉴别不同种类豇豆的判别方程。

一、数据输入

[if !vml]

[endif]

二、操作步骤 1、进入SPSS，打开相关数据文件，选择“分析”|“分类 ”|“判别式”命令2、选择进行判别分析的变量。在“判别分析”对话框的左侧列表框中，选择“类型”进入“分组变量”列表框。单击“定义范围”按钮，在“最小值”和“最大值”中分别输入1和3，单击“继续”按钮返回“判别分析”对话框。分别选择“质量”“宽度”“长度”3个变量进入“自变量”列表框，选中“使用步进法”单选按钮。

[if !vml]

[endif]

3、设置判别分析的统计输出结果。

单击“判别分析”对话框中的“统计”按钮。在“函数系数”选项组中，选中“费希尔”和“未标准化”复选框；在“矩阵”选项组中，选中“组内协方差”复选框。设置完毕后，单击“继续”按钮返回“判别分析”对话框。

[if !vml]

[endif]

4、设置输出到数据编辑窗口的结果。单击“保存”按钮，选中“预测组成员”复选框。

[if !vml]

[endif]

5、其余设置采用系统默认值即可。单击“确定”按钮，等待输出结果。

[if !supportLineBreakNewLine]

[endif]

四、结果分析

1、组统计量表可以看出，每一种豇豆豆荚的质量、宽度和长度的均值和标准差，也可以知道总样本的均值和标准差。

[if !vml]

[endif]2、汇聚的组内矩阵表可以知道，各因素之间的协方差和相关系数。可以发现，各因素之间的相关性都较小，因此在判别方程中不需要剔除变量。

[if !vml]

[endif]

3

、输入和删除变量情况统计表可以知道，第一步纳入的变量是质量，到第三步所有变量全部纳入，且从显着性值均为0可以看出，逐步判别没有剔除变量。

[if !vml]

[endif]

4、典型判别方程的特征值可以知道，特征根数为2，其中第一个特征根为77.318，能够解释所有变异的89.4%。

[if !vml]

[endif]

5、判别方程的有效性检验可以看出，显着性均为0，因此两个典型方程的判别能力都是显着的。

[if !vml]

[endif]

6、标准化的典型判别方程可以知道，本例中的两个标准化的典型判别方程表达式分别为：Y1=0.681*质量-0.674*宽度+0.612*长度Y2=0.363*质量+0.777*宽度+0.302*长度

[if !vml]

[endif]

7、未标准化的典型判别方程可以知道，本例中的两个未标准化的典型判别方程表达式为：Y1=-11.528+0.210*质量-1.950*宽度+0.186*长度Y2=-15.935+0.112*质量+2.246*宽度+0.092*长度

[if !vml]

[endif]

8、贝叶斯的费希尔线性判别方程可以得到3个分类方程。在这里我们只写出第一个分类方程。Y1=-90.708+2.557*质量+18.166*宽度+1.922*长度[if !vml]

[endif]9、判别分析在数据编辑窗口的输出结果新产生的变量记录是每一样品的判别分类结果，可以看出，样品判别分类结果与实际类别是一致的。

[if !vml]

[endif]

分析结论：

[if !supportLineBreakNewLine]

[endif]

通过判别分析可以知道，在本案例中，3种豇豆豆荚的样品判别分类结果与实际类别是一致的。另外，我们可以得到不同的判别方程，分别包括标准化的典型判别方程、未标准化的典型判别方程和贝叶斯的费希尔线性判别方程，方程的表达式见上面的结果分析。

[if !supportLineBreakNewLine]

[endif]

参考案例数据：

[if !supportLineBreakNewLine]

[endif]

【1】spss统计分析与行业应用案例详解(第四版)  杨维忠,张甜,王国平  清华大学出版社

（获取更多知识，前往gz号程式解说）

原文来自https://mp.weixin.qq.com/s/Yapg-5jwMK6cITG_FZsfVA

⑷ 利用测井资料判别油水层时几种判别分析方法的判别效果比较

目前测井解释中多采用线性判别分析方法(贝叶斯意义下的线性判别或费歇意义下的线性判别)判别油气水层,并取得了一些好的效果,但同时也发现线性判别在不少情况下判别效果不够理想。因此,选择适当的判别方法以提高判别的准确率,仍是一个需要继续探索的问题。 在江汉油田测井站关唯同志的大力协助下,我们收集了钟市地区一批资料作样品,分别用贝叶斯二次判别及贝叶斯与费歇线性判别进行了油水层判别归类,考查和分析了儿种判别分析的判别效果,取得了一些初步认识。一、贝叶斯线性判别和二次到别效果的分析比较 1、原理和方法简述 设有G个类(总体)x,,xZ,……x。;第L类(L二1,2,……G)有NL个样品,每个样品有P个观测指标。现以xj、L(L=1,2,…,G,K=1,2一,N:;j二l,2,…,P)表示第L类第K个样品第j个指标观测值。又设各样品都是相互独立的正态随机向量,于是有第L个总体(L=1,2,…,G)XL服从均向量为卜‘、协方差矩阵为三L的多元正态分布N(卜L,艺L),即 xL~N(协L,万L)(IJ=1,2,…,G) 若有一来自某类的新样品X二(x,,xZ,…xp)产,则可以根据贝叶斯公式算出X归于第(本文共计10页)

⑸ 常用的判别分析方法有哪些

按照习惯大类分成化学分析法，电化学分析法和仪器分析法
1.化学分析里面包括滴定法（氧化还原滴定，酸碱滴定，络合滴定等），重量分析法等等
2.电化学分析里面包括循环伏安，极谱，电解等等方法
3.仪器分析就更多了，紫外可见分光光度法(UV-Vis)，原子发射光谱法，色谱法（包括气相色谱GC,高效液相色谱HPLC），毛细管电泳(CE)，核磁共振(NMR)，X粉末多晶衍射(XRD)，质谱(MS)等等

⑹ 判别分析的建立方法

建立判别函数的方法一般由四种：全模型法、向前选择法、向后选择法和逐步选择法。
1）全模型法是指将用户指定的全部变量作为判别函数的自变量，而不管该变量是否对研究对象显着或对判别函数的贡献大小。此方法适用于对研究对象的各变量有全面认识的情况。如果未加选择的使用全变量进行分析，则可能产生较大的偏差。
2）向前选择法是从判别模型中没有变量开始，每一步把一个队判别模型的判断能力贡献最大的变量引入模型，直到没有被引入模型的变量都不符合进入模型的条件时，变量引入过程结束。当希望较多变量留在判别函数中时，使用向前选择法。
3）向后选择法与向前选择法完全相反。它是把用户所有指定的变量建立一个全模型。每一步把一个对模型的判断能力贡献最小的变量剔除模型，知道模型中的所用变量都不符合留在模型中的条件时，剔除工作结束。在希望较少的变量留在判别函数中时，使用向后选择法。
4）逐步选择法是一种选择最能反映类间差异的变量子集，建立判别函数的方法。它是从模型中没有任何变量开始，每一步都对模型进行检验，将模型外对模型的判别贡献最大的变量加入到模型中，同时也检查在模型中是否存在“由于新变量的引入而对判别贡献变得不太显着”的 变量，如果有，则将其从模型中出，以此类推，直到模型中的所有变量都符合引入模型的条件，而模型外所有变量都不符合引入模型的条件为之，则整个过程结束。

⑺ 常用的多元分析方法

多元分析方法包括3类:

多元方差分析、多元回归分析和协方差分析，称为线性模型方法，用以研究确定的自变量与因变量之间的关系；判别函数分析和聚类分析,用以研究对事物的分类；主成分分析、典型相关和因素分析，研究如何用较少的综合因素代替为数较多的原始变量。

多元方差是把总变异按照其来源分为多个部分，从而检验各个因素对因变量的影响以及各因素间交互作用的统计方法。

判别函数是判定个体所属类别的统计方法。其基本原理是：根据两个或多个已知类别的样本观测资料确定一个或几个线性判别函数和判别指标，然后用该判别函数依据判别指标来判定另一个个体属于哪一类。

(7)几种判别分析方法优缺点扩展阅读

多元分析方法的历史：

首先涉足多元分析方法是F.高尔顿，他于1889年把双变量的正态分布方法运用于传统的统计学，创立了相关系数和线性回归。

其后的几十年中，斯皮尔曼提出因素分析法，费希尔提出方差分析和判别分析，威尔克斯发展了多元方差分析，霍特林确定了主成分分析和典型相关。到20世纪前半叶，多元分析理论大多已经确立。

60年代以后，随着计算机科学的发展，多元分析方法在心理学以及其他许多学科的研究中得到了越来越广泛的应用。