機器學習中的特征—特征選擇的方法以及注意點

關于機器學習中的特征我有話要說

引用自吳軍《數學之美》上的一句話：一個正確的數學模型應當在形式上是簡單的。構造機器學習的模型的目的是希望能夠從原始的特征數據集中學習出問題的結構與問題的本質，當然此時的挑選出的特征就應該能夠對問題有更好的解釋，所以特征選擇的目標大致如下：

提高預測的準確性

構造更快，消耗更低的預測模型

能夠對模型有更好的理解和解釋

三、特征選擇的方法

主要有三種方法：

1、Filter方法

其主要思想是：對每一維的特征“打分”，即給每一維的特征賦予權重，這樣的權重就代表著該維特征的重要性，然后依據權重排序。

主要的方法有：

Chi-squared test(卡方檢驗)

information gain(信息增益)，詳細可見“簡單易學的機器學習算法——決策樹之ID3算法”

correlation coefficient scores(相關系數)

2、Wrapper方法

其主要思想是：將子集的選擇看作是一個搜索尋優問題，生成不同的組合，對組合進行評價，再與其他的組合進行比較。這樣就將子集的選擇看作是一個是一個優化問題，這里有很多的優化算法可以解決，尤其是一些啟發式的優化算法，如GA，PSO，DE，ABC等，詳見“優化算法——人工蜂群算法(ABC)”，“優化算法——粒子群算法(PSO)”。

主要方法有：recursive feature elimination algorithm(遞歸特征消除算法)

3、Embedded方法

其主要思想是：在模型既定的情況下學習出對提高模型準確性最好的屬性。這句話并不是很好理解，其實是講在確定模型的過程中，挑選出那些對模型的訓練有重要意義的屬性。

主要方法：正則化，可以見“簡單易學的機器學習算法——嶺回歸(Ridge Regression)”，嶺回歸就是在基本線性回歸的過程中加入了正則項。

總結以及注意點

這篇文章中最后提到了一點就是用特征選擇的一點Trap。個人的理解是這樣的，特征選擇不同于特征提取，特征和模型是分不開，選擇不同的特征訓練出的模型是不同的。在機器學習=模型+策略+算法的框架下，特征選擇就是模型選擇的一部分，是分不開的。這樣文章最后提到的特征選擇和交叉驗證就好理解了，是先進行分組還是先進行特征選擇。

答案是當然是先進行分組，因為交叉驗證的目的是做模型選擇，既然特征選擇是模型選擇的一部分，那么理所應當是先進行分組。如果先進行特征選擇，即在整個數據集中挑選擇機，這樣挑選的子集就具有隨機性。

我們可以拿正則化來舉例，正則化是對權重約束，這樣的約束參數是在模型訓練的過程中確定的，而不是事先定好然后再進行交叉驗證的。