特征選擇是一個重要的數(shù)據(jù)預(yù)處理過程，主要有兩個原因：
一是減少特征數(shù)量、降維，使模型泛化能力更強，減少過擬合;
二是增強對特征和特征值之間的理解
常見的特征選擇方式：
1. 去除方差較小的特征
2. 正則化。L1正則化能夠生成稀疏的模型。L2正則化的表現(xiàn)更加穩(wěn)定，由于有用的特征往往對應(yīng)系數(shù)非零。
3. 隨機森林，對于分類問題，通常采用基尼不純度或者信息增益，對于回歸問題，通常采用的是方差或者最小二乘擬合。一般不需要feature engineering、調(diào)參等繁瑣的步驟。它的兩個主要問題，1是重要的特征有可能得分很低(關(guān)聯(lián)特征問題)，2是這種方法對特征變量類別多的特征越有利(偏向問題)。
4. 穩(wěn)定性選擇。是一種基于二次抽樣和選擇算法相結(jié)合較新的方法，選擇算法可以是回歸、SVM或其他類似的方法。它的主要思想是在不同的數(shù)據(jù)子集和特征子集上運行特征選擇算法，不斷的重復(fù)，最終匯總特征選擇結(jié)果，比如可以統(tǒng)計某個特征被認為是重要特征的頻率(被選為重要特征的次數(shù)除以它所在的子集被測試的次數(shù))。理想情況下，重要特征的得分會接近100%。稍微弱一點的特征得分會是非0的數(shù)，而最無用的特征得分將會接近于0。
京公網(wǎng)安備 11010802030320號