哪些方法不能對特徵進行降維

A. 數據分析 常用的降維方法之主成分分析

數據分析：常用的降維方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也稱主分量分析，旨在利用降維的思想，把多指標轉化為少數幾個綜合指標。
在統計學中，主成分分析是一種簡化數據集的技術。它是一個線性變換。這個變換把數據變換到一個新的坐標系統中，使得任何數據投影的第一大方差在第一個坐標(稱為第一主成分)上，第二大方差在第二個坐標(第二主成分)上，依次類推。主成分分析經常用減少數據集的維數，同時保持數據集的對方差貢獻最大的特徵。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數據的最重要方面。但是，這也不是一定的，要視具體應用而定。
主成分分析的主要作用
1．主成分分析能降低所研究的數據空間的維數。即用研究m維的Y空間代替p維的X空間(m＜p)，而低維的Y空間代替 高維的x空間所損失的信息很少。即：使只有一個主成分Yl(即 m＝1)時，這個Yl仍是使用全部X變數(p個)得到的。例如要計算Yl的均值也得使用全部x的均值。在所選的前m個主成分中，如果某個Xi的系數全部近似於零的話，就可以把這個Xi刪除，這也是一種刪除多餘變數的方法。
2．有時可通過因子負荷aij的結論，弄清X變數間的某些關系。
3．多維數據的一種圖形表示方法。我們知道當維數大於3時便不能畫出幾何圖形，多元統計研究的問題大都多於3個變數。要把研究的問題用圖形表示出來是不可能的。然而，經過主成分分析後，我們可以選取前兩個主成分或其中某兩個主成分，根據主成分的得分，畫出n個樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量中的地位，進而還可以對樣本進行分類處理，可以由圖形發現遠離大多數樣本點的離群點。
4．由主成分分析法構造回歸模型。即把各主成分作為新自變數代替原來自變數x做回歸分析。
5．用主成分分析篩選回歸變數。回歸變數的選擇有著重的實際意義，為了使模型本身易於做結構分析、控制和預報，好從原始變數所構成的子集合中選擇最佳變數，構成最佳變數集合。用主成分分析篩選變數，可以用較少的計算量來選擇量，獲得選擇最佳變數子集合的效果。
主成分分析法的計算步驟
1、原始指標數據的標准化採集p 維隨機向量x = (x1,X2,...,Xp)T)n 個樣品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
n＞p，構造樣本陣，對樣本陣元進行如下標准化變換：
Z_{ij}=frac{x_{ij}-bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
其中bar{x}_j=frac{sum^{n}_{i=1}x_{ij}}{n},s^2_j=frac{sum^n_{i=1}(x_{ij}-bar{x}_j)^2}{n-1}，得標准化陣Z。
2、對標准化陣Z 求相關系數矩陣
R=left[r_{ij}right]_pxp=frac{Z^T Z}{n-1}
其中,r_{ij}=frac{sum z_{kj}cdot z_{kj}}{n-1},i,j=1,2,...,p 。
3、解樣本相關矩陣R 的特徵方程left|R-lambda I_pright|=0得p 個特徵根,確定主成分
按frac{sum^m_{j=1}lambda_j}{sum^p_{j=1}lambda_j}ge 0.85 確定m 值，使信息的利用率達85%以上，對每個λj, j=1,2,...,m, 解方程組Rb = λjb得單位特徵向量b^o_j 。
4、將標准化後的指標變數轉換為主成分
U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
U1稱為第一主成分,U2 稱為第二主成分,…,Up 稱為第p 主成分。
5 、對m 個主成分進行綜合評價
對m 個主成分進行加權求和，即得最終評價值，權數為每個主成分的方差貢獻率。
因子分析
因子分析法是指從研究指標相關矩陣內部的依賴關系出發，把一些信息重疊、具有錯綜復雜關系的變數歸結為少數幾個不相關的綜合因子的一種多元統計分析方法。基本思想是：根據相關性大小把變數分組，使得同組內的變數之間相關性較高，但不同組的變數不相關或相關性較低，每組變數代表一個基本結構一即公共因子。
因子分析法的步驟
(1)對數據樣本進行標准化處理。
(2)計算樣本的相關矩陣R。
(3)求相關矩陣R的特徵根和特徵向量。
(4)根據系統要求的累積貢獻率確定主因子的個數。
(5)計算因子載荷矩陣A。
(6)確定因子模型。
(7)根據上述計算結果，對系統進行分析。

以上是小編為大家分享的關於數據分析 常用的降維方法之主成分分析的相關內容，更多信息可以關注環球青藤分享更多干貨

B. 大數據工程師必修課：PCA降維

【導讀】作為一名合格的大數據分析師，我們有必要知道了解且學會機器學習中的PCA降維，這也是數據挖掘的一個環節，機器學習這門技術是多種技術的結合。而在這個結合體中，如何進行數據分析處理是最核心的內容。通常在機器學習中，我們指的數據分析是，從一大堆數據中，篩選出一些有意義的數據，推斷出一個潛在的可能結論。得出這個不知道正確與否的結論，下面讓我們一起來了解一下大數據工程師必修課之PCA降維吧!

其經過的步驟通常是：

1、預處理：把數據處理成一些有意義的特徵，這一步的目的主要是為了降維。

2、建模：這部分主要是建立模型(通常是曲線的擬合)，為分類器搭建一個可能的邊界。

3、分類器處理：根據模型把數據分類，並進行數據結論的預測。

本文講的主要是數據的預處理(降維)，而這里採用的方式是PCA。

PCA的個人理論分析：

假設有一個學生信息管理系統，裡面需要存儲人性別的欄位，我們在資料庫里可以有M、F兩個欄位，用1、0分別代表是、否。當是男學生的時候其中M列為1，F列為0，為女生時M列為0，F列為1。我們發現，對任意一條記錄，當M為1，F必然為0，反之也是如此。因此實際過程，我們把M列或F列去掉也不會丟失任何信息，因為我們可以反推出結論。這種情況下的M、F列的關聯比是最高的，是100%。

再舉另外一個例子，小明開了家店鋪，他每天在統計其店鋪的訪問量V和成交量D。可以發現，往往V多的時候，D通常也多。D少的時候，V通常也很少。可以猜到V和D是有種必然的聯系，但又沒有絕對的聯系。此時小明如果想根據V、D來衡量這一天的價值，往往可以根據一些歷史數據來計算出V、D的關聯比。拍腦門說一個，如果關聯比大於80%，那麼可以取VD其中任意一個即可衡量當天價值。這樣就達到了降維的效果。

當然降維並非只能在比如說2維數據V，D中選取其中的1維V作為特徵值，它有可能是在V+D的情況下，使得對V, D的關聯比最大。

但是PCA思想就是如此。簡單點說：假設有x1、x2、x3…xn維數據，我們想把數據降到m維，我們可以根據這n維的歷史數據，算出一個與x1…xn相關m維數據，使得這個m維數據對歷史數據的關聯比達到最大。

以上就是小編今天給大家整理發送的關於「大數據工程師必修課：PCA降維」的相關內容，希望對大家有所幫助。想了解更多關於人工智慧就業崗位分析，關注小編持續更新。

C. 降維的概念

若原特徵空間是D維的,現希望降至d維的 降維方法分為線性核非線性降維，非線性降維又分為基於核函數和基於特徵值的方法。
1、線性降維方法：PCA 、ICA LDA、LFA、LPP(LE的線性表示)
2、非線性降維方法：
（1）基於核函數的非線性降維方法：KPCA 、KICA、KDA
（2）基於特徵值的非線性降維方法（流型學習）：ISOMAP、LLE、LE、LPP、LTSA、MVU 1、LLE（Locally Linear Embedding）演算法（局部線性嵌入）：
每一個數據點都可以由其近鄰點的線性加權組合構造得到。
演算法的主要步驟分為三步：
（1）尋找每個樣本點的k個近鄰點（k是一個預先給定的值）；
（2）由每個樣本點的近鄰點計算出該樣本點的局部重建權值矩陣；
（3）由該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值，定義一個誤差函數。

D. 降維工具手段是什麼

概念 :

若原特徵空間是D維的,現希望降至d維的

運用:

通過單幅圖像數據的高維化,將單幅圖像轉化為高維空間中的數據集合,對其進行非線性降維,尋求其高維數據流形本徵結構的一維表示向量,將其作為圖像數據的特徵表達向量。從而將高維圖像識別問題轉化為特徵表達向量的識別問題,大大降低了計算的復雜程度,減少了冗餘信息所
造成的識別誤差,提高了識別的精度。通過指紋圖像的實例說明,將非線性降維方法(如Laplacian
Eigenmap方法)應用於圖像數據識別問題,在實際中是可行的,在計算上是簡單的,可大大改善常用方法(如K-近鄰方法)的效能,獲得更好的識別效
果。此外,該方法對於圖像數據是否配準是不敏感的,可對不同大小的圖像進行識別,這大大簡化了識別的過程。

E. 數據降維是什麼意思

數據降維是將數據進行降維處理的意思。

降維，通過單幅圖像數據的高維化，將單幅圖像轉化為高維空間中的數據集合，對其進行非線性降維。尋求其高維數據流形本徵結構的一維表示向量，將其作為圖像數據的特徵表達向量。降維處理是將高維數據化為低維度數據的操作。一般來說，化學過程大都是一個多變數的變化過程，一般的化學數據也都是多變數數據。

(5)哪些方法不能對特徵進行降維擴展閱讀：

數據降維運用：

通過單幅圖像數據的高維化,將單幅圖像轉化為高維空間中的數據集合,對其進行非線性降維,尋求其高維數據流形本徵結構的一維表示向量,將其作為圖像數據的特徵表達向量。從而將高維圖像識別問題轉化為特徵表達向量的識別問題,大大降低了計算的復雜程度,減少了冗餘信息所造成的識別誤差,提高了識別的精度。

通過指紋圖像的實例說明,將非線性降維方法(如Laplacian Eigenmap方法)應用於圖像數據識別問題,在實際中是可行的,在計算上是簡單的,可大大改善常用方法(如K-近鄰方法)的效能,獲得更好的識別效果。此外,該方法對於圖像數據是否配準是不敏感的,可對不同大小的圖像進行識別,這大大簡化了識別的過程。

F. 特徵處理有哪些方法

、常用方法
1、時間戳處理
時間戳通常需要分離成多個維度比如年、月、日、小時、分鍾、秒鍾。但在很多的應用中，大量的信息是不需要的，因此我們在呈現時間的時候，試著保證你所提供的所有數據是你的模型所需要的，並且別忘了時區，加入你的數據源來自不同的地理數據源，別忘了利用時區將數據標准化。
2、離散型變數處理
舉一個簡單的例子，由{紅，黃，藍}組成的離散型變數，最常用的方式是吧每個變數值轉換成二元屬性，即從{0，1}取一個值，也就是常說的獨熱編碼(one-hot code)。
3、分箱/分區
有時候，將連續型變數轉換成類別呈現更有意義，同時能夠使演算法減少雜訊的干擾，通過將一定范圍內的數值劃分成確定的塊。舉個例子，我們要預測具有哪些特徵的人會購買我們網店的商品，用戶的年齡是一個連續的變數，我們可以將年齡分為15以下、15-24、25-34、35-44、45及以上。而且，不是將這些類別分成2個點，你可以使用標量值，因為相近的年齡表現出相似的屬性。
只有了解變數的領域知識的基礎，確定屬性能夠劃分成簡潔的范圍時分區才有意義，即所有的數值落入一個分區時能夠呈現出共同的特徵。在實際的運用中，當你不想讓你的模型總是嘗試區分值之間是否太近時，分區能夠避免出現過擬合。例如，如果你感興趣的是將一個城市作為總體，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響，通過將一個給定值劃入到最近的塊中。如果劃分范圍的數量和所有可能值相近，或對你來說准確率很重要的話，此時分箱就不合適了。
4、交叉特徵
交叉特徵算是特徵工程中非常重要的方法之一，它將兩個或更多的類別屬性組合成一個。當組合的特徵要比單個特徵更好時，這是一項非常有用的技術。數學上來說，是對類別特徵的所有值進行交叉相乘。
假如擁有一個特徵A,A有兩個可能值{A1，A2}。擁有一個特徵B，存在{B1，B2}等可能值。然後，A&B之間的交叉特徵如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，並且你可以給這些組合特徵取任何名字。但是需要明白每個組合特徵其實代表著A和B各自信息協同作用。
5、特徵選擇
為了得到更好的模型，使用某些演算法自動的選出原始特徵的子集。這個過程，你不會構建或修改你擁有的特徵，但是會通過修建特徵來達到減少雜訊和冗餘。
特徵選擇演算法可能會用到評分方法來排名和選擇特徵，比如相關性或其他確定特徵重要性的方法，更進一步的方法可能需要通過試錯，來搜素出特徵子集。
還有通過構建輔助模型的方法，逐步回歸就是模型構造過程中自動執行特徵選擇演算法的一個實例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特徵選擇，通過加入額外的約束或者懲罰項加到已有模型(損失函數)上，以防止過擬合並提高泛化能力。
6、特徵縮放
有時候，你可能會注意到某些特徵比其他特徵擁有高得多的跨度值。舉個例子，將一個人的收入和他的年齡進行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特徵值縮放到相同的范圍值內。通過特徵縮放可以避免某些特徵獲得大小非常懸殊的權重值。
7、特徵提取
特徵提取涉及到從原始屬性中自動生成一些新的特徵集的一系列演算法，降維演算法就屬於這一類。特徵提取是一個自動將觀測值降維到一個足夠建模的小數據集的過程。

G. 數據降維和特徵選取有什麼區別

有區別。
二者的目標都是使得特徵維數減少。但是方法不一樣。
數據降維，一般說的是維數約簡（Dimensionality rection）。它的思路是：將原始高維特徵空間里的點向一個低維空間投影，新的空間維度低於原特徵空間，所以維數減少了。在這個過程中，特徵發生了根本性的變化，原始的特徵消失了（雖然新的特徵也保持了原特徵的一些性質）。
而特徵選擇，是從 n 個特徵中選擇 d (d<n) 個出來，而其它的 n-d 個特徵舍棄。所以，新的特徵只是原來特徵的一個子集。沒有被舍棄的 d 個特徵沒有發生任何變化。這是二者的主要區別。

H. 機器學習中的降維演算法和梯度下降法

機器學習中有很多演算法都是十分經典的，比如說降維演算法以及梯度下降法，這些方法都能夠幫助大家解決很多問題，因此學習機器學習一定要掌握這些演算法，而且這些演算法都是比較受大家歡迎的。在這篇文章中我們就給大家重點介紹一下降維演算法和梯度下降法。
降維演算法
首先，來說一說降維演算法，降維演算法是一種無監督學習演算法，其主要特徵是將數據從高維降低到低維層次。在這里，維度其實表示的是數據的特徵量的大小，當特徵量大的話，那麼就給計算機帶來了很大的壓力，所以我們可以通過降維計算，把維度高的特徵量降到維度低的特徵量，比如說從4維的數據壓縮到2維。類似這樣將數據從高維降低到低維有兩個好處，第一就是利於表示，第二就是在計算上也能帶來加速。
當然，有很多降維過程中減少的維度屬於肉眼可視的層次，同時壓縮也不會帶來信息的損失。但是如果肉眼不可視，或者沒有冗餘的特徵，這怎麼辦呢？其實這樣的方式降維演算法也能工作，不過這樣會帶來一些信息的損失。不過，降維演算法可以從數學上證明，從高維壓縮到的低維中最大程度地保留了數據的信息。所以說，降維演算法還是有很多好處的。
那麼降維演算法的主要作用是什麼呢？具體就是壓縮數據與提升機器學習其他演算法的效率。通過降維演算法，可以將具有幾千個特徵的數據壓縮至若干個特徵。另外，降維演算法的另一個好處是數據的可視化。這個優點一直別廣泛應用。
梯度下降法
下面我們給大家介紹一下梯度下降法，所謂梯度下降法就是一個最優化演算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效演算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。好比將函數比作一座山，我們站在某個山坡上，往四周看，從哪個方向向下走一小步，能夠下降的最快;當然解決問題的方法有很多，梯度下降只是其中一個，還有很多種方法。
在這篇文章中我們給大家介紹了關於機器演算法中的降維演算法以及梯度下降法，這兩種方法是機器學習中十分常用的演算法，降維演算法和梯度下降法都是十分實用的，大家在進行學習機器學習的時候一定要好好學習這兩種演算法，希望這篇文章能夠幫助大家理解這兩種演算法。

I. 如何實現降維處理

降維方法分為線性核非線性降維，非線性降維又分為基於核函數和基於特徵值的方法。

線性降維方法：PCA ICALDA LFA LPP(LE的線性表示)

於核函數的非線性降維方法：KPCA KICAKDA

基於特徵值的非線性降維方法（流型學習）：ISOMAP LLE LE LPP LTSA MVU