【R】如何確定最適合數據集的機器學習算法

抽查(Spot checking)機器學習算法是指如何找出最適合于給定數據集的算法模型。

本文中我將介紹八個常用于抽查的機器學習算法，文中還包括各個算法的 R 語言代碼，你可以將其保存并運用到下一個機器學習項目中。

適用于你的數據集的最佳算法

你無法在建模前就知道哪個算法最適用于你的數據集。

你必須通過反復試驗的方法來尋找出可以解決你的問題的最佳算法，我稱這個過程為 spot checking。

我們所遇到的問題不是我應該采用哪個算法來處理我的數據集？，而是我應該抽查哪些算法來處理我的數據集？

抽查哪些算法？

首先，你可以思考哪些算法可能適用于你的數據集。

其次，我建議盡可能地嘗試混合算法并觀察哪個方法最適用于你的數據集。

嘗試混合算法(如事件模型和樹模型)

嘗試混合不同的學習算法(如處理相同類型數據的不同算法)

嘗試混合不同類型的模型(如線性和非線性函數或者參數和非參數模型)

讓我們具體看下如何實現這幾個想法。下一章中我們將看到如何在 R 語言中實現相應的機器學習算法。

如何在 R 語言中抽查算法？

R 語言中存在數百種可用的機器學習算法。

如果你的項目要求較高的預測精度且你有充足的時間，我建議你可以在實踐過程中盡可能多地探索不同的算法。

通常情況下，我們沒有太多的時間用于測試，因此我們需要了解一些常用且重要的算法。

本章中你將會接觸到一些 R 語言中經常用于抽查處理的線性和非線性算法，但是其中并不包括類似于boosting和bagging的集成算法。
每個算法都會從兩個視角進行呈現：

1. 常規的訓練和預測方法

2. caret包的用法

你需要知道給定算法對應的軟件包和函數，同時你還需了解如何利用caret包實現這些常用的算法，從而你可以利用caret包的預處理、算法評估和參數調優的能力高效地評估算法的精度。

本文中將用到兩個標準的數據集：

1. 回歸模型：BHD(Boston Housing Dataset)

2. 分類模型: PIDD(Pima Indians Diabetes Dataset)

本文中的算法將被分成兩組進行介紹：

1.線性算法：簡單、較大的偏倚、運算速度快

2.非線性算法：復雜、較大的方差、高精確度

下文中的所有代碼都是完整的，因此你可以將其保存下來并運用到下個機器學習項目中。

線性算法

這類方法對模型的函數形式有嚴格的假設條件，雖然這些方法的運算速度快，但是其結果偏倚較大。

這類模型的最終結果通常易于解讀，因此如果線性模型的結果足夠精確，那么你沒有必要采用較為復雜的非線性模型。

1.線性回歸模型

stat包中的lm()函數可以利用最小二乘估計擬合線性回歸模型。

# load the library
library(mlbench)
# load data
data(BostonHousing)
# fit model
fit <- lm(mdev~>, BostonHousing)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, BostonHousing)
# summarize accuracy
mse <- mean((BostonHousing$medv - predictions)^2)
print(mse)

# caret
# load libraries
library(caret)
library(mlbench)
# load dataset
data(BostonHousing)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.lm <- train(medv~., data=BostonHousing, method="lm", metric="RMSE", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.lm)

2.羅吉斯回歸模型

stat包中glm()函數可以用于擬合廣義線性模型。它可以用于擬合處理二元分類問題的羅吉斯回歸模型。

# load the library
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- glm(diabetes~., data=PimaIndiansDiabetes, family=binomial(link='logit'))
# summarize the fit
print(fit)
# make predictions
probabilities <- predict(fit, PimaIndiansDiabetes[,1:8], type='response')
predictions <- ifelse(probabilities > 0.5,'pos','neg')
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.glm <- train(diabetes~., data=PimaIndiansDiabetes, method="glm", metric="Accuracy", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.glm)

3.線性判別分析

MASS包中的lda()函數可以用于擬合線性判別分析模型。

# load the libraries
library(MASS)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- lda(diabetes~., data=PimaIndiansDiabetes)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, PimaIndiansDiabetes[,1:8])$class
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.lda <- train(diabetes~., data=PimaIndiansDiabetes, method="lda", metric="Accuracy", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.lda)

4.正則化回歸

glmnet包中的glmnet()函數可以用于擬合正則化分類或回歸模型。

分類模型：

# load the library
library(glmnet)
library(mlbench)
# load data
data(PimaIndiansDiabetes)
x <- as.matrix(PimaIndiansDiabetes[,1:8])
y <- as.matrix(PimaIndiansDiabetes[,9])
# fit model
fit <- glmnet(x, y, family="binomial", alpha=0.5, lambda=0.001)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, x, type="class")
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
library(glmnet)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.glmnet <- train(diabetes~., data=PimaIndiansDiabetes, method="glmnet", metric="Accuracy", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.glmnet)

回歸模型：

# load the libraries
library(glmnet)
library(mlbench)
# load data
data(BostonHousing)
BostonHousing$chas <- as.numeric(as.character(BostonHousing$chas))
x <- as.matrix(BostonHousing[,1:13])
y <- as.matrix(BostonHousing[,14])
# fit model
fit <- glmnet(x, y, family="gaussian", alpha=0.5, lambda=0.001)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, x, type="link")
# summarize accuracy
mse <- mean((y - predictions)^2)
print(mse)

# caret
# load libraries
library(caret)
library(mlbench)
library(glmnet)
# Load the dataset
data(BostonHousing)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.glmnet <- train(medv~., data=BostonHousing, method="glmnet", metric="RMSE", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.glmnet)

非線性算法

非線性算法對模型函數形式的限定較少，這類模型通常具有高精度和方差大的特點。

5.k近鄰

caret包中的knn3()函數并沒有建立模型，而是直接對訓練集數據作出預測。它既可以用于分類模型也可以用于回歸模型。
分類模型：

# knn direct classification

# load the libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- knn3(diabetes~., data=PimaIndiansDiabetes, k=3)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="class")
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.knn <- train(diabetes~., data=PimaIndiansDiabetes, method="knn", metric="Accuracy", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.knn)

回歸模型：

# load the libraries
library(caret)
library(mlbench)
# load data
data(BostonHousing)
BostonHousing$chas <- as.numeric(as.character(BostonHousing$chas))
x <- as.matrix(BostonHousing[,1:13])
y <- as.matrix(BostonHousing[,14])
# fit model
fit <- knnreg(x, y, k=3)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, x)
# summarize accuracy
mse <- mean((BostonHousing$medv - predictions)^2)
print(mse)

# caret
# load libraries
library(caret)
data(BostonHousing)
# Load the dataset
data(BostonHousing)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.knn <- train(medv~., data=BostonHousing, method="knn", metric="RMSE", preProc=c("center", "scale"), trControl=control)
# summarize fit
print(fit.knn)

6.樸素貝葉斯算法

e1071 包中的 naiveBayes() 函數可用于擬合分類問題中的樸素貝葉斯模型。

# load the libraries
library(e1071)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- naiveBayes(diabetes~., data=PimaIndiansDiabetes)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, PimaIndiansDiabetes[,1:8])
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.nb <- train(diabetes~., data=PimaIndiansDiabetes, method="nb", metric="Accuracy", trControl=control)
# summarize fit
print(fit.nb)

7.支持向量機算法

kernlab包中的ksvm()函數可用于擬合分類和回歸問題中的支持向量機模型。
分類模型：

# Classification Example:
# load the libraries
library(kernlab)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- ksvm(diabetes~., data=PimaIndiansDiabetes, kernel="rbfdot")
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="response")
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.svmRadial <- train(diabetes~., data=PimaIndiansDiabetes, method="svmRadial", metric="Accuracy", trControl=control)
# summarize fit
print(fit.svmRadial)

回歸模型：

# Regression Example:
# load the libraries
library(kernlab)
library(mlbench)
# load data
data(BostonHousing)
# fit model
fit <- ksvm(medv~., BostonHousing, kernel="rbfdot")
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, BostonHousing)
# summarize accuracy
mse <- mean((BostonHousing$medv - predictions)^2)
print(mse)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(BostonHousing)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.svmRadial <- train(medv~., data=BostonHousing, method="svmRadial", metric="RMSE", trControl=control)
# summarize fit
print(fit.svmRadial)

8.分類和回歸樹

rpart包中的rpart()函數可用于擬合CART分類樹和回歸樹模型。
分類模型：

# load the libraries
library(rpart)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# fit model
fit <- rpart(diabetes~., data=PimaIndiansDiabetes)
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="class")
# summarize accuracy
table(predictions, PimaIndiansDiabetes$diabetes)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(PimaIndiansDiabetes)
# train
set.seed(7)
control <- trainControl(method="cv", number=5)
fit.rpart <- train(diabetes~., data=PimaIndiansDiabetes, method="rpart", metric="Accuracy", trControl=control)
# summarize fit
print(fit.rpart)

回歸模型：

# load the libraries
library(rpart)
library(mlbench)
# load data
data(BostonHousing)
# fit model
fit <- rpart(medv~., data=BostonHousing, control=rpart.control(minsplit=5))
# summarize the fit
print(fit)
# make predictions
predictions <- predict(fit, BostonHousing[,1:13])
# summarize accuracy
mse <- mean((BostonHousing$medv - predictions)^2)
print(mse)

# caret
# load libraries
library(caret)
library(mlbench)
# Load the dataset
data(BostonHousing)
# train
set.seed(7)
control <- trainControl(method="cv", number=2)
fit.rpart <- train(medv~., data=BostonHousing, method="rpart", metric="RMSE", trControl=control)
# summarize fit
print(fit.rpart)

R 語言中還提供了許多caret可以使用的機器學習算法。我建議你去探索更多的算法，并將其運用到你的下個機器學習項目中。
Caret Model List
這個網頁上提供了caret中機器學習算法的函數和其相應軟件包的映射關系。你可以通過它了解如何利用caret構建機器學習模型。

總結

本文中介紹了八個常用的機器學習算法：

1. 線性回歸模型

2. 羅吉斯回歸模型

3. 線性判別分析

4. 正則化回歸

5. k近鄰

6. 樸素貝葉斯

7. 支持向量機

8. 分類和回歸樹

從上文的介紹中，你可以學到如何利用R語言中的包和函數實現這些算法。同時你還可以學會如何利用caret包實現上文提到的所有機器學習算法。最后，你還可以將這些算法運用到你的機器學習項目中。

你的下一步計劃？

你有沒有試驗過本文中的算法代碼？

1.打開你的 R 語言軟件。
2.輸入上文中的代碼并運行之。
3.查看幫助文檔學習更多的函數用法。