特徵選擇方法如何結合

㈠ FPM特徵選擇的三種方法

當數據維數比較大時，就需要進行降維，特徵選擇是降維的一種主要方式，又包括3種方法：Filter、Wrapper和Enbedding。
1.Filter
過濾器方法，這種方法首先選定特徵，再來進行學習。根據每一個屬性的一些指標（如方差等），來確定這個屬性的重要程度，然後對所有屬性按照重要程度排序，從高到低的選擇屬性。選定了屬性以後，再來進行訓練。比如FisherScore、LaplacianScore等。這種方法其實不大好，因為決定特徵選擇效果的不是單個的屬性，而是屬性的集合，比如屬性A、B、C，單個來看效果不好，但是它們組合起來效果有可能不錯。
2.Wrapper
包裹器方法，這種方法把選定的特徵集用分類器進行訓練，用訓練效果（如准確率等）來作為特徵集的評價。比如將啟發式搜索、GA等。這種方法和分類器相結合，比較直觀，和Filter相比也更加合理。缺點是計算開銷較大。
3.Embedding
嵌入式方法，即把特徵選擇的過程作為學習過程的一部分，在學習的過程中進行特徵選擇，最典型的如決策樹演算法。

㈡ CFS的特徵選擇演算法

基於關聯規則的特徵選擇演算法（correlation-based feature selection），是一種經典的過濾器模式的特徵選擇方法。源自論文「correlation-based feature selection for discrete and numeric class machine learning」，啟發地對單一特徵 對應於每個分類的作用進行評價，從而得到最終的特徵子集。特別地，特徵必須是離散的隨機變數，如果是數值型變數，需要首先執行指導的離散化方法來進行離散化特徵。

㈢ 圖像特徵提取方法=特徵選擇與描述

(1)提取簡單,時間和空間復雜度低.
(2)區分能力強,對圖像視覺內容相似的圖像其特徵描述之間也應相近,反
之,對於視覺內容不相似的圖像其特徵描述之間應有一定的差別.
(3)與人的視覺感知相近,對人的視覺感覺相近的圖像其特徵描述之間也相
近,對人的視覺感知有差別的圖像其特徵描述之間也有一定的差別.
(4)抗干擾能力強,魯棒性好,對圖像大小,方向不敏感,具有幾何平移,
旋轉不變性.

㈣ 機器學習中，有哪些特徵選擇的工程方法

特徵選擇是特徵工程中的重要問題（另一個重要的問題是特徵提取），坊間常說：數據和特徵決定了機器學習的上限，而模型和演算法只是逼近這個上限而已。由此可見，特徵工程尤其是特徵選擇在機器學習中佔有相當重要的地位。通常而言，特徵選擇是指選擇獲得相應模型和演算法最好性能的特徵集，工程上常用的方法有以下：1. 計算每一個特徵與響應變數的相關性：工程上常用的手段有計算皮爾遜系數和互信息系數，皮爾遜系數只能衡量線性相關性而互信息系數能夠很好地度量各種相關性，但是計算相對復雜一些，好在很多toolkit里邊都包含了這個工具（如sklearn的MINE），得到相關性之後就可以排序選擇特徵了；2. 構建單個特徵的模型，通過模型的准確性為特徵排序，藉此來選擇特徵，另外，記得JMLR'03上有一篇論文介紹了一種基於決策樹的特徵選擇方法，本質上是等價的。當選擇到了目標特徵之後，再用來訓練最終的模型；3. 通過L1正則項來選擇特徵：L1正則方法具有稀疏解的特性，因此天然具備特徵選擇的特性，但是要注意，L1沒有選到的特徵不代表不重要，原因是兩個具有高相關性的特徵可能只保留了一個，如果要確定哪個特徵重要應再通過L2正則方法交叉檢驗；4. 訓練能夠對特徵打分的預選模型：RandomForest和Logistic Regression等都能對模型的特徵打分，通過打分獲得相關性後再訓練最終模型；5. 通過特徵組合後再來選擇特徵：如對用戶id和用戶特徵最組合來獲得較大的特徵集再來選擇特徵，這種做法在推薦系統和廣告系統中比較常見，這也是所謂億級甚至十億級特徵的主要來源，原因是用戶數據比較稀疏，組合特徵能夠同時兼顧全局模型和個性化模型，這個問題有機會可以展開講。6. 通過深度學習來進行特徵選擇：目前這種手段正在隨著深度學習的流行而成為一種手段，尤其是在計算機視覺領域，原因是深度學習具有自動學習特徵的能力，這也是深度學習又叫unsupervised feature learning的原因。從深度學習模型中選擇某一神經層的特徵後就可以用來進行最終目標模型的訓練了。整體上來說，特徵選擇是一個既有學術價值又有工程價值的問題，目前在研究領域也比較熱，值得所有做機器學習的朋友重視。

㈤ 如何根據高光譜圖像數據提取其空間特徵

特徵提取和特徵選擇是模式識別的關鍵問題之一，它影響到分類器的設計及其性能．高光譜圖像數據

是超高維多特徵數據集，如何實現高維特徵空間的特徵壓縮和特徵提取是一個重要課題．基於高光譜圖像譜圖合一、數據維度高的數據結構特點，該文從光譜和圖像兩個層面分別綜述了主成分分析、最小雜訊分離、獨立成分分

析等光譜特徵提取方法以及基於顏色、紋理、形狀等圖像特徵提取方法．還詳細介紹了核主成分分析和投影尋蹤方

法這兩種高光譜特徵提取新方法，並給出了以上方法的應用實例．特徵提取和特徵選擇的研究將為後續的高光譜圖

㈥ 特徵處理有哪些方法

、常用方法
1、時間戳處理
時間戳通常需要分離成多個維度比如年、月、日、小時、分鍾、秒鍾。但在很多的應用中，大量的信息是不需要的，因此我們在呈現時間的時候，試著保證你所提供的所有數據是你的模型所需要的，並且別忘了時區，加入你的數據源來自不同的地理數據源，別忘了利用時區將數據標准化。
2、離散型變數處理
舉一個簡單的例子，由{紅，黃，藍}組成的離散型變數，最常用的方式是吧每個變數值轉換成二元屬性，即從{0，1}取一個值，也就是常說的獨熱編碼(one-hot code)。
3、分箱/分區
有時候，將連續型變數轉換成類別呈現更有意義，同時能夠使演算法減少雜訊的干擾，通過將一定范圍內的數值劃分成確定的塊。舉個例子，我們要預測具有哪些特徵的人會購買我們網店的商品，用戶的年齡是一個連續的變數，我們可以將年齡分為15以下、15-24、25-34、35-44、45及以上。而且，不是將這些類別分成2個點，你可以使用標量值，因為相近的年齡表現出相似的屬性。
只有了解變數的領域知識的基礎，確定屬性能夠劃分成簡潔的范圍時分區才有意義，即所有的數值落入一個分區時能夠呈現出共同的特徵。在實際的運用中，當你不想讓你的模型總是嘗試區分值之間是否太近時，分區能夠避免出現過擬合。例如，如果你感興趣的是將一個城市作為總體，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響，通過將一個給定值劃入到最近的塊中。如果劃分范圍的數量和所有可能值相近，或對你來說准確率很重要的話，此時分箱就不合適了。
4、交叉特徵
交叉特徵算是特徵工程中非常重要的方法之一，它將兩個或更多的類別屬性組合成一個。當組合的特徵要比單個特徵更好時，這是一項非常有用的技術。數學上來說，是對類別特徵的所有值進行交叉相乘。
假如擁有一個特徵A,A有兩個可能值{A1，A2}。擁有一個特徵B，存在{B1，B2}等可能值。然後，A&B之間的交叉特徵如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，並且你可以給這些組合特徵取任何名字。但是需要明白每個組合特徵其實代表著A和B各自信息協同作用。
5、特徵選擇
為了得到更好的模型，使用某些演算法自動的選出原始特徵的子集。這個過程，你不會構建或修改你擁有的特徵，但是會通過修建特徵來達到減少雜訊和冗餘。
特徵選擇演算法可能會用到評分方法來排名和選擇特徵，比如相關性或其他確定特徵重要性的方法，更進一步的方法可能需要通過試錯，來搜素出特徵子集。
還有通過構建輔助模型的方法，逐步回歸就是模型構造過程中自動執行特徵選擇演算法的一個實例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特徵選擇，通過加入額外的約束或者懲罰項加到已有模型(損失函數)上，以防止過擬合並提高泛化能力。
6、特徵縮放
有時候，你可能會注意到某些特徵比其他特徵擁有高得多的跨度值。舉個例子，將一個人的收入和他的年齡進行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特徵值縮放到相同的范圍值內。通過特徵縮放可以避免某些特徵獲得大小非常懸殊的權重值。
7、特徵提取
特徵提取涉及到從原始屬性中自動生成一些新的特徵集的一系列演算法，降維演算法就屬於這一類。特徵提取是一個自動將觀測值降維到一個足夠建模的小數據集的過程。

㈦ 為什麼要做特徵選擇，列舉一些常用的特徵選擇方法

特徵提取：是從某些（事物）中提取本質性的功能、應用、優勢等等這類是從特徵中提取出的。 特徵選擇：是從提取中的東西中選擇你所需要的，從這個層面進行闡述就好的很多。 二者是直接關聯的關系。

㈧ 如何選擇特徵圖

特徵選擇主要有兩個功能：

• 減少特徵數量、降維，使模型泛化能力更強，減少過擬合

• 增強對特徵和特徵值之間的理解

拿到數據集，一個特徵選擇方法，往往很難同時完成這兩個目的。通常情況下，我們經常不管三七二十一，選擇一種自己最熟悉或者最方便的特徵選擇方法（往往目的是降維，而忽略了對特徵和數據理解的目的）。

㈨ 何為光譜特徵選擇光譜特徵選擇的方法有哪些

原有的遙感數據處理演算法在處理高光譜數據時，常遇到Hughes現象即「維數禍根「。為了有效地處理數據，「降維」就成為一個必然的選擇；「降維」即在盡可能地保留信息的同時，對波段進行壓縮。目前壓縮波段有兩種方法：①從眾多波段中選擇感興趣的若干波段，或選擇信息量大、相關性小的若干波段。②利用所有波段，通過數學變換壓縮波段。如主成分分析法(PCA)等。本文主要介紹第一種壓縮方法。