回归分析改进方法

⑴ spss进行线性回归分析时,相关系数都符合,但是显着性不符合,如何调整

线性回归时候，相关系数只是表明了各个系数之间的相关程度。但是自变量对因变量不显着的话，可能存在多重共线性、数据存在异常值、异方差的问题。

1、自变量存在共线性问题

在进行线性回归分析时，很容易出现自变量共线性问题，通常情况下VIF值大于10说明严重共线，VIF大于5则说明有共线性问题。当出现共线性问题时，可能导致回归系数的符号与实际情况完全相反，本应该显着的自变量不显着，本不显着的自变量却呈现出显着性。

解决方法：手动移除出共线性的自变量，先做下相关分析，如果发现某两个自变量X（解释变量）的相关系数值大于0.7，则移除掉一个自变量（解释变量），然后再做回归分析。逐步回归法，让软件自动进行自变量的选择剔除，逐步回归会将共线性的自变量自动剔除出去。

2、数据存在异常值，如果数据中存在极端异常值，会导致数据偏移对分析结果产生严重影响。如果回归分析出现各类异常，可通过比如描述分析、箱线图、散点图等方法，找出并处理掉异常值后再做分析。

解决方法：查看数据中是否有异常值，可通过箱线图、散点图查看，剔除异常值可通过SPSSAU“异常值”功能进行剔除。

3、异方差，如果模型存在明显的异方差性，会影响回归系数的显着情况，得到的回归模型是低效并且不稳定的。

解决方法：保存残差项，将残差项分别与模型的自变量X或者因变量Y，作散点图，查看散点是否有明显的规律性。如果有明显的异方差性，建议重新构建模型，比如对Y取对数后再次构建模型等。

如果排除了这些原因还是不显着，那么基本说明该变量对被解释变量无显着影响。

(1)回归分析改进方法扩展阅读

在做实证就是做回归等等方法的时候，一般就看中三点，一是相关系数，看因变量和自变量是否相关。二是拟合优度（R平方），看回归方程拟合的好不好，一般0.8以上就算拟合的比较好了。

三是自变量的系数对于因变量是否显着啦，P值小于0.05就说明自变量对于因变量是显着的。如果自变量的P值都比0.05大，那就说明自变量对于因变量是不显着的，这个自变量就没什么意义，所以如果变量比较多的情况下，还是做一下逐步回归。

如果变量比较少，做逐步回归就会导致最后有可能只剩下一个变量。逐步回归就是一个模型优化的过程，更加能解释自变量和因变量之间的关系，一般回归之后效果不好都要逐步回归来优化线性模型的。

⑵ 数据分析师必须掌握的7种回归分析方法

1、线性回归

线性回归是数据分析法中最为人熟知的建模技术之一。它一般是人们在学习预测模型时首选的技术之一。在这种数据分析法中，由于变量是连续的，因此自变量可以是连续的也可以是离散的，回归线的性质是线性的。

线性回归使用最佳的拟合直线(也就是回归线)在因变量(Y)和一个或多个自变量(X)之间建立一种关系。

2、逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元(1 /0，真/假，是/否)变量时，我们就应该使用逻辑回归.

逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。

为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计逻辑回归。它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。

3、多项式回归

对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。虽然会有一个诱导可以拟合一个高次多项式并得到较低的错误，但这可能会导致过拟合。你需要经常画出关系图来查看拟合情况，并且专注于保证拟合合理，既没有过拟合又没有欠拟合。下面是一个图例，可以帮助理解：

明显地向两端寻找曲线点，看看这些形状和趋势是否有意义。更高次的多项式最后可能产生怪异的推断结果。

4、逐步回归

在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。

这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。

5、岭回归

岭回归分析是一种用于存在多重共线性(自变量高度相关)数据的技术。在多重共线性情况下，尽管最小二乘法(OLS)对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度，来降低标准误差。

除常数项以外，这种回归的假设与最小二乘回归类似;它收缩了相关系数的值，但没有达到零，这表明它没有特征选择功能，这是一个正则化方法，并且使用的是L2正则化。

6、套索回归

它类似于岭回归。除常数项以外，这种回归的假设与最小二乘回归类似;它收缩系数接近零(等于零)，确实有助于特征选择;这是一个正则化方法，使用的是L1正则化;如果预测的一组变量是高度相关的，Lasso 会选出其中一个变量并且将其它的收缩为零。

7、回归

ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso会随机挑选他们其中的一个，而ElasticNet则会选择两个。Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。

通常在高度相关变量的情况下，它会产生群体效应;选择变量的数目没有限制;并且可以承受双重收缩。

关于数据分析师必须掌握的7种回归分析方法，青藤小编就和您分享到这里了，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的职业前景及就业内容，可以点击本站的其他文章进行学习。

⑶ 急！求助spss17.0回归结果分析和改进办法

首先你这回归分析F检验是显着地（第三个图），说明回归方程是可以建立的。其次看每个自变量的系数的T检验（第四个图），如果范围设宽点，高管薪酬前三名和期末营业收入显着，其他变量都不显着，也就是其他变量对因变量的影响不显着。

⑷ 请问逐步回归分析效果不理想，怎样才能达到理想的数据呢

逐步回归分析效果不理想可以考虑以下几个方法：
1、根据实际情况，酌情放宽显着性检验p值的约束，把更多的因素纳入到多元线性回归模型中去进行回归；
2、采用岭估计法进行多元回归；
3、考虑用灰色理论模型GM（1，n）来解决这个问题；

⑸ 回归分析的基本步骤是什么

回归分析：

1、确定变量：明确预测的具体目标，也就确定了因变量。如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。通过市场调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

2、建立预测模型：依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3、进行相关分析：回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。只有当自变量与因变量确实存在某种关系时，建立的回归方程才有意义。

因此，作为自变量的因素与作为因变量的预测对象是否有关，相关程度如何，以及判断这种相关程度的把握性多大，就成为进行回归分析必须要解决的问题。进行相关分析，一般要求出相关关系，以相关系数的大小来判断自变量和因变量的相关的程度。

4、计算预测误差：回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

5、确定预测值：利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

Logistic Regression逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，应该使用逻辑回归。这里，Y的值为0或1，它可以用下方程表示。

odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

在这里使用的是的二项分布（因变量），需要选择一个对于这个分布最佳的连结函数。它就是Logit函数。在上述方程中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

以上内容参考：网络-回归分析

⑹ 回归分析的内容和步骤是什么

1、确定变量：

明确定义了预测的具体目标，并确定了因变量。 如果预测目标是下一年的销售量，则销售量Y是因变量。 通过市场调查和数据访问，找出与预测目标相关的相关影响因素，即自变量，并选择主要影响因素。

2、建立预测模型：

依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3、进行相关分析：

回归分析是因果因素（自变量）和预测因子（因变量）的数学统计分析。 只有当自变量和因变量之间存在某种关系时，建立的回归方程才有意义。 因此，作为自变量的因子是否与作为因变量的预测对象相关，程度的相关程度以及判断相关程度的程度是在回归分析中必须解决的问题。 相关分析通常需要相关性，并且相关度系数用于判断自变量和因变量之间的相关程度。

4、计算预测误差：

回归预测模型是否可用于实际预测取决于回归预测模型的测试和预测误差的计算。 回归方程只能通过回归方程作为预测模型来预测，只有当它通过各种测试且预测误差很小时才能预测。

5、确定预测值：

利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

(6)回归分析改进方法扩展阅读：

回归分析的应用：

1、相关分析研究的是现象之间是否相关、相关的方向和密切程度，一般不区别自变量或因变量。而回归分析则要分析现象之间相关的具体形式，确定其因果关系，并用数学模型来表现其具体关系。比如说，从相关分析中我们可以得知“质量”和“用户满意度”变量密切相关，但是这两个变量之间到底是哪个变量受哪个变量的影响，影响程度如何，则需要通过回归分析方法来确定。

2、一般来说，回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

⑺ 回归分析的认识及简单运用

回归分析的认识及简单运用

回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，分为回归和多重回归分析；按照自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多重线性回归分析。

定义

回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律，并可用于预报、控制等问题。

方差齐性

线性关系

效应累加

变量无测量误差

变量服从多元正态分布

观察独立

模型完整（没有包含不该进入的变量、也没有漏掉应该进入的变量）

误差项独立且服从（0，1）正态分布。

现实数据常常不能完全符合上述假定。因此，统计学家研究出许多的回归模型来解决线性回归模型假定过程的约束。

研究一个或多个随机变量Y1 ，Y2 ，…，Yi与另一些变量X1、X2，…，Xk之间的关系的统计方法，又称多重回归分析。通常称Y1，Y2，…，Yi为因变量，X1、X2，…，Xk为自变量。回归分析是一类数学模型，特别当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，这叫一元线性回归，即模型为Y=a+bX+ε，这里X是自变量，Y是因变量，ε是随机误差，通常假定随机误差的均值为0，方差为σ^2（σ^2大于0）σ^2与X的值无关。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的情形，它有k个自变量和一个因变量，因变量的值可以分解为两部分：一部分是由于自变量的影响，即表示为自变量的函数，其中函数形式已知，但含一些未知参数；另一部分是由于其他未被考虑的因素和随机性的影响，即随机误差。当函数形式为未知参数的线性函数时，称线性回归分析模型；当函数形式为未知参数的非线性函数时，称为非线性回归分析模型。当自变量的个数大于1时称为多元回归，当因变量个数大于1时称为多重回归。

回归分析的主要内容为：

①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。

②对这些关系式的可信程度进行检验。

③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显着的，哪些自变量的影响是不显着的，将影响显着的自变量入模型中，而剔除影响不显着的变量，通常用逐步回归、向前回归和向后回归等方法。

④利用所求的关系式对某一生产过程进行预测或控制。回归分析的应用是非常广泛的，统计软件包使各种回归方法计算十分方便。

在回归分析中，把变量分为两类。一类是因变量，它们通常是实际问题中所关心的一类指标，通常用Y表示；而影响因变量取值的的另一类变量称为自变量，用X来表示。

回归分析研究的主要问题是：

（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；

（2）对求得的回归方程的可信度进行检验；

（3）判断自变量X对因变量Y有无影响；

（4）利用所求得的回归方程进行预测和控制。

回归分析可以说是统计学中内容最丰富、应用最广泛的分支。这一点几乎不带夸张。包括最简单的t检验、方差分析也都可以归到线性回归的类别。而卡方检验也完全可以用logistic回归代替。

众多回归的名称张口即来的就有一大片，线性回归、logistic回归、cox回归、poission回归、probit回归等等等等，可以一直说的你头晕。为了让大家对众多回归有一个清醒的认识，这里简单地做一下总结：

1、线性回归，这是我们学习统计学时最早接触的回归，就算其它的你都不明白，最起码你一定要知道，线性回归的因变量是连续变量，自变量可以是连续变量，也可以是分类变量。如果只有一个自变量，且只有两类，那这个回归就等同于t检验。如果只有一个自变量，且有三类或更多类，那这个回归就等同于方差分析。如果有2个自变量，一个是连续变量，一个是分类变量，那这个回归就等同于协方差分析。所以线性回归一定要认准一点，因变量一定要是连续变量。

2、logistic回归，与线性回归并成为两大回归，应用范围一点不亚于线性回归，甚至有青出于蓝之势。因为logistic回归太好用了，而且太有实际意义了。解释起来直接就可以说，如果具有某个危险因素，发病风险增加2.3倍，听起来多么地让人通俗易懂。线性回归相比之下其实际意义就弱了。logistic回归与线性回归恰好相反，因变量一定要是分类变量，不可能是连续变量。分类变量既可以是二分类，也可以是多分类，多分类中既可以是有序，也可以是无序。二分类logistic回归有时候根据研究目的又分为条件logistic回归和非条件logistic回归。条件logistic回归用于配对资料的分析，非条件logistic回归用于非配对资料的分析，也就是直接随机抽样的资料。无序多分类logistic回归有时候也成为多项logit模型，有序logistic回归有时也称为累积比数logit模型。

3、cox回归，cox回归的因变量就有些特殊，因为他的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用cox回归分析。cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡？二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用cox回归分析。

4、poisson回归，poisson回归相比就不如前三个用的广泛了。但实际上，如果你能用logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人？或者死亡了多少人？等等。其实跟logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。大家仔细想想，其实跟发病多少人，死亡多少人一个道理。只是poission回归名气不如logistic回归大，所以用的人也不如logistic回归多。但不要因此就觉得poisson回归没有用。

5、probit回归，在医学里真的是不大用，最关键的问题就是probit这个词太难理解了，通常翻译为概率单位。probit函数其实跟logistic函数十分接近，二者分析结果也十分接近。可惜的是，probit回归的实际含义真的不如logistic回归容易理解，由此导致了它的默默无名，但据说在社会学领域用的似乎更多一些。

6、负二项回归。所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。说起这些分布，大家就不愿意听了，多么抽象的名词，我也很头疼。如果简单点理解，二项分布你可以认为就是二分类数据，poission分布你可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布呢，也是个数，只不过比poission分布更苛刻，如果你的结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。既然提到这个例子，用于logistic回归的数据通常也能用poission回归，就像上面案例，我们可以把结局作为二分类，每个人都有两个状态，得流感或者不得流感，这是个二分类结局，那就可以用logistic回归。但是这里的数据存在聚集性怎么办呢，幸亏logistic回归之外又有了更多的扩展，你可以用多水平logistic回归模型，也可以考虑广义估计方程。这两种方法都可以处理具有层次性或重复测量资料的二分类因变量。

7、weibull回归，有时中文音译为威布尔回归。weibull回归估计你可能就没大听说过了，其实这个名字只不过是个噱头，吓唬人而已。上一篇说过了，生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力，只是国内大多不愿用而已。weibull回归就是其中之一。cox回归为什么受欢迎呢，因为它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。怎么，又是分布？！估计大家头又大了，是不是想直接不往下看了，还是用cox回归吧。不过我还是建议看下去。为什么呢？相信大家都知道参数检验和非参数检验，而且可能更喜欢用参数检验，如t检验，而不喜欢用非参数检验，如秩和检验。那这里的weibull回归和cox回归基本上可以说是分别对应参数检验和非参数检验。参数检验和非参数检验的优缺点我也在前面文章里通俗介绍了，如果数据符合weibull分布，那么直接套用weibull回归当然是最理想的选择，他可以给出你最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，肯定结果也不会真实到哪儿去。所以说，如果你能判断出你的数据是否符合weibull分布，那当然最好的使用参数回归，也就是weibull回归。但是如果你实在没什么信心去判断数据分布，那也可以老老实实地用cox回归。cox回归可以看作是非参数的，无论数据什么分布都能用，但正因为它什么数据都能用，所以不可避免地有个缺点，每个数据用的都不是恰到好处。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据你的体形做衣服，做出来的肯定对你正合身，对别人就不一定合身了。cox回归呢，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是图简单到商场直接去买现成的，那就根据你的喜好了，也根据你对自己体形的了解程度，如果非常熟悉，当然就量体裁衣了。如果不大了解，那就直接去商场买大众化衣服吧。

8、主成分回归。主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如你要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果你实在舍不得，毕竟这是辛辛苦苦调查上来的，删了太可惜了。如果舍不得，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能能确定90%是感冒了。不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9、岭回归。岭回归的名称由来我也没有查过，可能是因为它的图形有点像岭。不要纠结于名称。岭回归也是用于处理自变量之间高度相关的情形。只是跟主成分回归的具体估计方法不同。线性回归的计算用的是最小二乘估计法，当自变量之间高度相关时，最小二乘回归估计的参数估计值会不稳定，这时如果在公式里加点东西，让它变得稳定，那就解决了这一问题了。岭回归就是这个思想，把最小二乘估计里加个k，改变它的估计值，使估计结果变稳定。至于k应该多大呢？可以根据岭迹图来判断，估计这就是岭回归名称的由来。你可以选非常多的k值，可以做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定k值了，然后整个参数估计不稳定的问题就解决了。

10、偏最小二乘回归。偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。听起来有点不可思议，不是说例数最好是自变量个数的10倍以上吗？怎么可能例数比自变量还少，这还怎么计算？可惜的是，偏最小二乘回归真的就有这么令人发指的优点。所以，如果你的自变量之间高度相关、例数又特别少、而自变量又很多（这么多无奈的毛病），那就现在不用发愁了，用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因变量和多个自变量之间的分析。因为它的原理就是同时提取多个因变量和多个自变量的信息重新组成新的变量重新分析，所以多个因变量对它来说无所谓。

看了以上的讲解，希望能对大家理解回归分析的运用有些帮助。

以上是小编为大家分享的关于回归分析的认识及简单运用的相关内容，更多信息可以关注环球青藤分享更多干货

⑻ 在线性回归分析中如何解决多重共线性的问题

对多重共线性的两点认识：
①在实际中，多重共线性是一个程度问题而不是有无的问题，有意义的区分不在于有和无，而在于多重共线性的程度。②多重共线性是针对固定的解释变量而言，是一种样本的特征，而非总体的特征。
消除多重共线性的方法：
1.增加样本容量
2.利用先验信息改变
3.删除不必要的解释变量：参数的约束形式
4.其它方法：逐步回归法，岭回归（ridge
regression）,主成分分析（principal
components
）.
这些方法spss都可以做的，你在数据分析的子菜单下可以找到相应的做法。
删除不必要的方法的时候，最好使用一下逐步回归法，这样比较科学一点。
主成分分析的方法使用比较简单科学，本人介意用该方法。

⑼ 常见的回归分析方法有哪些

1/6分步阅读
1.线性回归方法：通常因变量和一个（或者多个）自变量之间拟合出来是一条直线（回归线），通常可以用一个普遍的公式来表示：Y（因变量）=a*X（自变量）+b+c，其中b表示截距，a表示直线的斜率，c是误差项。如下图所示。

2/6
2.逻辑回归方法：通常是用来计算“一个事件成功或者失败”的概率，此时的因变量一般是属于二元型的（1 或0，真或假，有或无等）变量。以样本极大似然估计值来选取参数，而不采用最小化平方和误差来选择参数，所以通常要用log等对数函数去拟合。如下图。

3/6
3.多项式回归方法：通常指自变量的指数存在超过1的项，这时候最佳拟合的结果不再是一条直线而是一条曲线。比如：抛物线拟合函数Y=a+b*X^2，如下图所示。

4/6
4.岭回归方法：通常用于自变量数据具有高度相关性的拟合中，这种回归方法可以在原来的偏差基础上再增加一个偏差度来减小总体的标准偏差。如下图是其收缩参数的最小误差公式。

5/6
5.套索回归方法：通常也是用来二次修正回归系数的大小，能够减小参量变化程度以提高线性回归模型的精度。如下图是其惩罚函数，注意这里的惩罚函数用的是绝对值，而不是绝对值的平方。

6/6
6.ElasticNet回归方法：是Lasso和Ridge回归方法的融合体，使用L1来训练，使用L2优先作为正则化矩阵。当相关的特征有很多个时，ElasticNet不同于Lasso，会选择两个。如下图是其常用的理论公式。

⑽ 什么是回归分析原理与方法

作经济研究，这是基本的方法和手段。
不知道你想了解些什么，就找了些最简单的，给你，希望有帮助。什么地方不明白再问。
直线回归是用直线回归方程表示两个数量变量间依存关系的统计分析方法，属双变量分析的范畴。
1.
直线回归方程的求法
（1）回归方程的概念:
直线回归方程的一般形式是Ý（音y
hat）=a+bx，其中x为自变量，一般为资料中能精确测定和控制的量，Y为应变量，指在x规定范围内随机变化的量。a为截距，是回归直线与纵轴的交点，b为斜率，意为x每改变一个单位时,Ý的变化量。
(2)直线回归方程的求法
确定直线回归方程利用的是最小二乘法原理，基本步骤为：
1）先求
b，基本公式为b=lxy/lxx=SSxy/SSxx
,其中lxy为X,Y的离均差积和，lxx为X的离均差平方和；
2）再求a，根据回归方程
a等于Y的均值减去x均值与b乘积的差值。
(3)回归方程的图示:
根据回归方程，在坐标轴上任意取相距较远的两点，连接上述两点就可得到回归方程的图示。应注意的是，连出的回归直线不应超过x的实测值范围.
2.
回归关系的检验
回归关系的检验又称回归方程的检验，其目的是检验求得的回归方程在总体中是否成立，即是否样本代表的总体也有直线回归关系。方法有以下两种：
(1)方差分析
其基本思想是将总变异分解为SS回归和SS剩余，然后利用F检验来判断回归方程是否成立。
(2)t检验
其基本思想是利用样本回归系数b与总体均数回归系数ß进行比较来判断回归方程是否成立，实际应用中因为回归系数b的检验过程较为复杂,而相关系数r的检验过程简单并与之等价,故一般用相关系数r的检验来代替回归系数b的检验。
3.
直线回归方程的应用
(1)描述两变量之间的依存关系；
利用直线回归方程即可定量描述两个变量间依存的数量关系
(2)利用回归方程进行预测；
把预报因子（即自变量x）代入回归方程对预报量（即因变量Y）进行估计，即可得到个体Y值的容许区间。
(3)利用回归方程进行统计控制
规定Y值的变化，通过控制x的范围来实现统计控制的目标。如已经得到了空气中NO2的浓度和汽车流量间的回归方程，即可通过控制汽车流量来控制空气中NO2的浓度。
4.
应用直线回归的注意事项
(1)做回归分析要有实际意义；
(2)回归分析前,最好先作出散点图；
(3)回归直线不要外延。