哪些方法不能对特征进行降维

A. 数据分析 常用的降维方法之主成分分析

数据分析：常用的降维方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。
主成分分析的主要作用
1．主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(m＜p)，而低维的Y空间代替 高维的x空间所损失的信息很少。即：使只有一个主成分Yl(即 m＝1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。
2．有时可通过因子负荷aij的结论，弄清X变量间的某些关系。
3．多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位，进而还可以对样本进行分类处理，可以由图形发现远离大多数样本点的离群点。
4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。
5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。
主成分分析法的计算步骤
1、原始指标数据的标准化采集p 维随机向量x = (x1,X2,...,Xp)T)n 个样品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
n＞p，构造样本阵，对样本阵元进行如下标准化变换：
Z_{ij}=frac{x_{ij}-bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
其中bar{x}_j=frac{sum^{n}_{i=1}x_{ij}}{n},s^2_j=frac{sum^n_{i=1}(x_{ij}-bar{x}_j)^2}{n-1}，得标准化阵Z。
2、对标准化阵Z 求相关系数矩阵
R=left[r_{ij}right]_pxp=frac{Z^T Z}{n-1}
其中,r_{ij}=frac{sum z_{kj}cdot z_{kj}}{n-1},i,j=1,2,...,p 。
3、解样本相关矩阵R 的特征方程left|R-lambda I_pright|=0得p 个特征根,确定主成分
按frac{sum^m_{j=1}lambda_j}{sum^p_{j=1}lambda_j}ge 0.85 确定m 值，使信息的利用率达85%以上，对每个λj, j=1,2,...,m, 解方程组Rb = λjb得单位特征向量b^o_j 。
4、将标准化后的指标变量转换为主成分
U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
U1称为第一主成分,U2 称为第二主成分,…,Up 称为第p 主成分。
5 、对m 个主成分进行综合评价
对m 个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
因子分析
因子分析法是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归结为少数几个不相关的综合因子的一种多元统计分析方法。基本思想是：根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构一即公共因子。
因子分析法的步骤
(1)对数据样本进行标准化处理。
(2)计算样本的相关矩阵R。
(3)求相关矩阵R的特征根和特征向量。
(4)根据系统要求的累积贡献率确定主因子的个数。
(5)计算因子载荷矩阵A。
(6)确定因子模型。
(7)根据上述计算结果，对系统进行分析。

以上是小编为大家分享的关于数据分析 常用的降维方法之主成分分析的相关内容，更多信息可以关注环球青藤分享更多干货

B. 大数据工程师必修课：PCA降维

【导读】作为一名合格的大数据分析师，我们有必要知道了解且学会机器学习中的PCA降维，这也是数据挖掘的一个环节，机器学习这门技术是多种技术的结合。而在这个结合体中，如何进行数据分析处理是最核心的内容。通常在机器学习中，我们指的数据分析是，从一大堆数据中，筛选出一些有意义的数据，推断出一个潜在的可能结论。得出这个不知道正确与否的结论，下面让我们一起来了解一下大数据工程师必修课之PCA降维吧!

其经过的步骤通常是：

1、预处理：把数据处理成一些有意义的特征，这一步的目的主要是为了降维。

2、建模：这部分主要是建立模型(通常是曲线的拟合)，为分类器搭建一个可能的边界。

3、分类器处理：根据模型把数据分类，并进行数据结论的预测。

本文讲的主要是数据的预处理(降维)，而这里采用的方式是PCA。

PCA的个人理论分析：

假设有一个学生信息管理系统，里面需要存储人性别的字段，我们在数据库里可以有M、F两个字段，用1、0分别代表是、否。当是男学生的时候其中M列为1，F列为0，为女生时M列为0，F列为1。我们发现，对任意一条记录，当M为1，F必然为0，反之也是如此。因此实际过程，我们把M列或F列去掉也不会丢失任何信息，因为我们可以反推出结论。这种情况下的M、F列的关联比是最高的，是100%。

再举另外一个例子，小明开了家店铺，他每天在统计其店铺的访问量V和成交量D。可以发现，往往V多的时候，D通常也多。D少的时候，V通常也很少。可以猜到V和D是有种必然的联系，但又没有绝对的联系。此时小明如果想根据V、D来衡量这一天的价值，往往可以根据一些历史数据来计算出V、D的关联比。拍脑门说一个，如果关联比大于80%，那么可以取VD其中任意一个即可衡量当天价值。这样就达到了降维的效果。

当然降维并非只能在比如说2维数据V，D中选取其中的1维V作为特征值，它有可能是在V+D的情况下，使得对V, D的关联比最大。

但是PCA思想就是如此。简单点说：假设有x1、x2、x3…xn维数据，我们想把数据降到m维，我们可以根据这n维的历史数据，算出一个与x1…xn相关m维数据，使得这个m维数据对历史数据的关联比达到最大。

以上就是小编今天给大家整理发送的关于“大数据工程师必修课：PCA降维”的相关内容，希望对大家有所帮助。想了解更多关于人工智能就业岗位分析，关注小编持续更新。

C. 降维的概念

若原特征空间是D维的,现希望降至d维的 降维方法分为线性核非线性降维，非线性降维又分为基于核函数和基于特征值的方法。
1、线性降维方法：PCA 、ICA LDA、LFA、LPP(LE的线性表示)
2、非线性降维方法：
（1）基于核函数的非线性降维方法：KPCA 、KICA、KDA
（2）基于特征值的非线性降维方法（流型学习）：ISOMAP、LLE、LE、LPP、LTSA、MVU 1、LLE（Locally Linear Embedding）算法（局部线性嵌入）：
每一个数据点都可以由其近邻点的线性加权组合构造得到。
算法的主要步骤分为三步：
（1）寻找每个样本点的k个近邻点（k是一个预先给定的值）；
（2）由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；
（3）由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值，定义一个误差函数。

D. 降维工具手段是什么

概念 :

若原特征空间是D维的,现希望降至d维的

运用:

通过单幅图像数据的高维化,将单幅图像转化为高维空间中的数据集合,对其进行非线性降维,寻求其高维数据流形本征结构的一维表示向量,将其作为图像数据的特征表达向量。从而将高维图像识别问题转化为特征表达向量的识别问题,大大降低了计算的复杂程度,减少了冗余信息所
造成的识别误差,提高了识别的精度。通过指纹图像的实例说明,将非线性降维方法(如Laplacian
Eigenmap方法)应用于图像数据识别问题,在实际中是可行的,在计算上是简单的,可大大改善常用方法(如K-近邻方法)的效能,获得更好的识别效
果。此外,该方法对于图像数据是否配准是不敏感的,可对不同大小的图像进行识别,这大大简化了识别的过程。

E. 数据降维是什么意思

数据降维是将数据进行降维处理的意思。

降维，通过单幅图像数据的高维化，将单幅图像转化为高维空间中的数据集合，对其进行非线性降维。寻求其高维数据流形本征结构的一维表示向量，将其作为图像数据的特征表达向量。降维处理是将高维数据化为低维度数据的操作。一般来说，化学过程大都是一个多变量的变化过程，一般的化学数据也都是多变量数据。

(5)哪些方法不能对特征进行降维扩展阅读：

数据降维运用：

通过单幅图像数据的高维化,将单幅图像转化为高维空间中的数据集合,对其进行非线性降维,寻求其高维数据流形本征结构的一维表示向量,将其作为图像数据的特征表达向量。从而将高维图像识别问题转化为特征表达向量的识别问题,大大降低了计算的复杂程度,减少了冗余信息所造成的识别误差,提高了识别的精度。

通过指纹图像的实例说明,将非线性降维方法(如Laplacian Eigenmap方法)应用于图像数据识别问题,在实际中是可行的,在计算上是简单的,可大大改善常用方法(如K-近邻方法)的效能,获得更好的识别效果。此外,该方法对于图像数据是否配准是不敏感的,可对不同大小的图像进行识别,这大大简化了识别的过程。

F. 特征处理有哪些方法

、常用方法
1、时间戳处理
时间戳通常需要分离成多个维度比如年、月、日、小时、分钟、秒钟。但在很多的应用中，大量的信息是不需要的，因此我们在呈现时间的时候，试着保证你所提供的所有数据是你的模型所需要的，并且别忘了时区，加入你的数据源来自不同的地理数据源，别忘了利用时区将数据标准化。
2、离散型变量处理
举一个简单的例子，由{红，黄，蓝}组成的离散型变量，最常用的方式是吧每个变量值转换成二元属性，即从{0，1}取一个值，也就是常说的独热编码(one-hot code)。
3、分箱/分区
有时候，将连续型变量转换成类别呈现更有意义，同时能够使算法减少噪声的干扰，通过将一定范围内的数值划分成确定的块。举个例子，我们要预测具有哪些特征的人会购买我们网店的商品，用户的年龄是一个连续的变量，我们可以将年龄分为15以下、15-24、25-34、35-44、45及以上。而且，不是将这些类别分成2个点，你可以使用标量值，因为相近的年龄表现出相似的属性。
只有了解变量的领域知识的基础，确定属性能够划分成简洁的范围时分区才有意义，即所有的数值落入一个分区时能够呈现出共同的特征。在实际的运用中，当你不想让你的模型总是尝试区分值之间是否太近时，分区能够避免出现过拟合。例如，如果你感兴趣的是将一个城市作为总体，这时你可以将所有落入该城市的维度整合成一个整体。分箱也能减小小错误的影响，通过将一个给定值划入到最近的块中。如果划分范围的数量和所有可能值相近，或对你来说准确率很重要的话，此时分箱就不合适了。
4、交叉特征
交叉特征算是特征工程中非常重要的方法之一，它将两个或更多的类别属性组合成一个。当组合的特征要比单个特征更好时，这是一项非常有用的技术。数学上来说，是对类别特征的所有值进行交叉相乘。
假如拥有一个特征A,A有两个可能值{A1，A2}。拥有一个特征B，存在{B1，B2}等可能值。然后，A&B之间的交叉特征如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，并且你可以给这些组合特征取任何名字。但是需要明白每个组合特征其实代表着A和B各自信息协同作用。
5、特征选择
为了得到更好的模型，使用某些算法自动的选出原始特征的子集。这个过程，你不会构建或修改你拥有的特征，但是会通过修建特征来达到减少噪声和冗余。
特征选择算法可能会用到评分方法来排名和选择特征，比如相关性或其他确定特征重要性的方法，更进一步的方法可能需要通过试错，来搜素出特征子集。
还有通过构建辅助模型的方法，逐步回归就是模型构造过程中自动执行特征选择算法的一个实例，还有像Lasso回归和岭回归等正则化方法也被归入到特征选择，通过加入额外的约束或者惩罚项加到已有模型(损失函数)上，以防止过拟合并提高泛化能力。
6、特征缩放
有时候，你可能会注意到某些特征比其他特征拥有高得多的跨度值。举个例子，将一个人的收入和他的年龄进行比较，更具体的例子，如某些模型(像岭回归)要求你必须将特征值缩放到相同的范围值内。通过特征缩放可以避免某些特征获得大小非常悬殊的权重值。
7、特征提取
特征提取涉及到从原始属性中自动生成一些新的特征集的一系列算法，降维算法就属于这一类。特征提取是一个自动将观测值降维到一个足够建模的小数据集的过程。

G. 数据降维和特征选取有什么区别

有区别。
二者的目标都是使得特征维数减少。但是方法不一样。
数据降维，一般说的是维数约简（Dimensionality rection）。它的思路是：将原始高维特征空间里的点向一个低维空间投影，新的空间维度低于原特征空间，所以维数减少了。在这个过程中，特征发生了根本性的变化，原始的特征消失了（虽然新的特征也保持了原特征的一些性质）。
而特征选择，是从 n 个特征中选择 d (d<n) 个出来，而其它的 n-d 个特征舍弃。所以，新的特征只是原来特征的一个子集。没有被舍弃的 d 个特征没有发生任何变化。这是二者的主要区别。

H. 机器学习中的降维算法和梯度下降法

机器学习中有很多算法都是十分经典的，比如说降维算法以及梯度下降法，这些方法都能够帮助大家解决很多问题，因此学习机器学习一定要掌握这些算法，而且这些算法都是比较受大家欢迎的。在这篇文章中我们就给大家重点介绍一下降维算法和梯度下降法。
降维算法
首先，来说一说降维算法，降维算法是一种无监督学习算法，其主要特征是将数据从高维降低到低维层次。在这里，维度其实表示的是数据的特征量的大小，当特征量大的话，那么就给计算机带来了很大的压力，所以我们可以通过降维计算，把维度高的特征量降到维度低的特征量，比如说从4维的数据压缩到2维。类似这样将数据从高维降低到低维有两个好处，第一就是利于表示，第二就是在计算上也能带来加速。
当然，有很多降维过程中减少的维度属于肉眼可视的层次，同时压缩也不会带来信息的损失。但是如果肉眼不可视，或者没有冗余的特征，这怎么办呢？其实这样的方式降维算法也能工作，不过这样会带来一些信息的损失。不过，降维算法可以从数学上证明，从高维压缩到的低维中最大程度地保留了数据的信息。所以说，降维算法还是有很多好处的。
那么降维算法的主要作用是什么呢？具体就是压缩数据与提升机器学习其他算法的效率。通过降维算法，可以将具有几千个特征的数据压缩至若干个特征。另外，降维算法的另一个好处是数据的可视化。这个优点一直别广泛应用。
梯度下降法
下面我们给大家介绍一下梯度下降法，所谓梯度下降法就是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。好比将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快;当然解决问题的方法有很多，梯度下降只是其中一个，还有很多种方法。
在这篇文章中我们给大家介绍了关于机器算法中的降维算法以及梯度下降法，这两种方法是机器学习中十分常用的算法，降维算法和梯度下降法都是十分实用的，大家在进行学习机器学习的时候一定要好好学习这两种算法，希望这篇文章能够帮助大家理解这两种算法。

I. 如何实现降维处理

降维方法分为线性核非线性降维，非线性降维又分为基于核函数和基于特征值的方法。

线性降维方法：PCA ICALDA LFA LPP(LE的线性表示)

于核函数的非线性降维方法：KPCA KICAKDA

基于特征值的非线性降维方法（流型学习）：ISOMAP LLE LE LPP LTSA MVU