作者：AI入門學習

來源：小伍哥

機器學習中，大部分是分類問題，另一種常見的機器學習問題是回歸問題，它預測一個連續值而不是離散的標簽，例如，根據氣象數據預測明天的氣溫，或者根據軟件說明書預測完成軟件項目所需要的時間、根據消費行為預測用戶的年齡等，今天的案例就是根據周邊的數據，預測房價，房價是一系列的連續值，因此是一個典型的回歸問題。

注意：不要將回歸問題與 logistic 回歸算法混為一談。令人困惑的是，logistic 回歸不是回歸算法， 而是分類算法。

一、波士頓房價數據集

本節將要預測 20 世紀 70 年代中期波士頓郊區房屋價格的中位數，已知當時郊區的一些數據點，比如犯罪率、當地房產稅率等。本節用到的數據集與前面兩個例子有一個有趣的區別。

它包含的數據點相對較少，只有 506 個，分為 404 個訓練樣本和 102 個測試樣本。輸入數據的 每個特征（比如犯罪率）都有不同的取值范圍。例如，有些特性是比例，取值范圍為 0~1；有 的取值范圍為 1~12；還有的取值范圍為 0~100，等等。

加載波士頓房價數據

from keras.datasets import boston_housing
(train_data,train_targets),(test_data,test_targets) = boston_housing.load_data()

我們來看一下數據。

train_data.shape (404, 13) test_data.shape (102, 13)

如你所見，我們有 404 個訓練樣本和 102 個測試樣本，每個樣本都有 13 個數值特征，比如人均犯罪率、每個住宅的平均房間數、高速公路可達性等。目標是房屋價格的中位數，單位是千美元。

train_targets array([15.2, 42.3, 50. , 21.1, 17.7, 18.5, 11.3, 15.6, 15.6, 14.4, 12.1,17.9, 23.1, ......

房價大都在 10 000~50 000 美元。折合人民幣6.5w-40w一平米，如果你覺得這很便宜，不要忘記當時是 20 世紀70年代中期，而且這些價格沒有根據通貨膨脹進行調整。所以一線城市的房價，還大有上漲空間

二、準備數據

將取值范圍差異很大的數據輸入到神經網絡中，這是有問題的。網絡可能會自動適應這種取值范圍不同的數據，但學習肯定變得更加困難。對于這種數據，普遍采用的最佳實踐是對每個特征做標準化，即對于輸入數據的每個特征（輸入數據矩陣中的列），減去特征平均值，再除 以標準差，這樣得到的特征平均值為 0，標準差為 1。用 Numpy 可以很容易實現標準化。

# 數據歸一化 mean = train_data.mean(axis = 0) train_data -= mean std = train_data.std(axis = 0) train_data /= std test_data -= mean test_data /= std

注意：用于測試數據標準化的均值和標準差都是在訓練數據上計算得到的。在工作流程中，你不能使用在測試數據上計算得到的任何結果，即使是像數據標準化這么簡單的事情也不行。

三、構建模型框架

由于樣本數量很少，我們將使用一個非常小的網絡，其中包含兩個隱藏層，每層有 64 個單元。一般來說，訓練數據越少，過擬合會越嚴重，而較小的網絡可以降低過擬合。

#構建模型框架 from keras import layers from keras import models def build_model(): model = models.Sequential()
    model.add(layers.Dense(64,activation='relu',input_shape=(train_data.shape[1],)))
    model.add(layers.Dense(64,activation='relu'))
    model.add(layers.Dense(1))
    model.compile(optimizer='rmsprop',loss='mse',metrics=['mae']) return model

網絡的最后一層只有一個單元，沒有激活，是一個線性層。這是標量回歸（標量回歸是預測單一連續值的回歸）的典型設置。添加激活函數將會限制輸出范圍。例如，如果向最后一層添加 sigmoid 激活函數，網絡只能學會預測 0~1 范圍內的值。這里最后一層是純線性的，所以 網絡可以學會預測任意范圍內的值。

注意，編譯網絡用的是 mse 損失函數，即均方誤差（MSE，mean squared error），預測值與 目標值之差的平方。這是回歸問題常用的損失函數。

在訓練過程中還監控一個新指標：平均絕對誤差（MAE，mean absolute error）。它是預測值 與目標值之差的絕對值。比如，如果這個問題的 MAE 等于 0.5，就表示你預測的房價與實際價格平均相差 500 美元。

四、利用K 折驗證來驗證你的方法

為了在調節網絡參數（比如訓練的輪數）的同時對網絡進行評估，你可以將數據劃分為訓練集和驗證集，正如前面例子中所做的那樣。但由于數據點很少，驗證集會非常?。ū热绱蠹s100 個樣本）。因此，驗證分數可能會有很大波動，這取決于你所選擇的驗證集和訓練集。也就是說，驗證集的劃分方式可能會造成驗證分數上有很大的方差，這樣就無法對模型進行可靠的評估。

在這種情況下，最佳做法是使用 K 折交叉驗證（見圖 3-11）。這種方法將可用數據劃分為 K個分區（K 通常取 4 或 5），實例化 K 個相同的模型，將每個模型在 K-1 個分區上訓練，并在剩下的一個分區上進行評估。模型的驗證分數等于 K 個驗證分數的平均值。這種方法的代碼實現很簡單。

import keras  import numpy as np  #K折交叉驗證 k = 5 num = len(train_data)//k all_score = [] for i in range(k): X_val = train_data[i*num:(i+1)*num] Y_val = train_targets[i*num:(i+1)*num] X_train = np.concatenate([train_data[:i*num],train_data[(i+1)*num:]],axis=0) Y_train = np.concatenate([train_targets[:i*num],train_targets[(i+1)*num:]],axis=0) model = build_model() model.fit(X_train,Y_train,epochs=100,batch_size=1,verbose=1) val_mse,val_mae = model.evaluate(X_val,Y_val,verbose=0) all_score.append(val_mae) 

運行結果如下，取平均，基本上就是模型能到達的最小誤差了

all_score [1.9652233123779297,2.5989739894866943,1.9110896587371826,2.5641400814056396, 2.337777853012085] np.mean(all_score)
 2.275440979003906

每次運行模型得到的驗證分數有很大差異，從 1.9 到 2.6 不等。平均分數（2.27）是比單一分數更可靠的指標——這就是 K 折交叉驗證的關鍵。在這個例子中，預測的房價與實際價格平均相差 2200 美元，考慮到實際價格范圍在 10 000~50 000 美元，這一差別還是很大的。我們讓訓練時間更長一點，達到 500 個輪次。為了記錄模型在每輪的表現，我們需要修改訓練循環，以保存每輪的驗證分數記錄。

五、模型最后評估

完成模型調參之后（除了輪數，還可以調節隱藏層大?。?，你可以使用最佳參數在所有訓練數據上訓練最終的生產模型，然后觀察模型在測試集上的性能。

model = build_model()
model.fit(train_data,train_targets,epochs=100,batch_size=1,verbose=1)
test_mse,test_mae = model.evaluate(test_data,test_targets,verbose=0)


test_mae 2.213838815689087 #如果要看預測的明細結果 model.predict(test_data)
array([[18.471083],
       [20.257647],
       [33.627922],
       [23.181114],
       [23.600664],
       [29.277847],
       [21.298449],
       [17.50559 ],
       [21.228243]], dtype=float32)

從上述結果來看，交叉驗證的結果與最后的預測結果相差不大，因此要得到更準的線上精度，最好選擇交叉驗證，而不是一次性的分割驗證。