熱線電話:13121318867

登錄
首頁精彩閱讀機器學習中訓練集、驗證集和測試集的作用
機器學習中訓練集、驗證集和測試集的作用
2018-03-27
收藏

機器學習中訓練集、驗證集和測試集的作用

通常,在訓練有監督機器學習模型的時候,會將數據劃分為訓練集、驗證集合測試集,劃分比例一般為0.6:0.2:0.2。對原始數據進行三個集合的劃分,是為了能夠選出效果(可以理解為準確率)最好的、泛化能力最佳的模型。

訓練集(Training set)

作用是用來擬合模型,通過設置分類器的參數,訓練分類模型。后續結合驗證集作用時,會選出同一參數的不同取值,擬合出多個分類器。

驗證集(Cross ValidaDon set)

作用是當通過訓練集訓練出多個模型后,為了能找出效果最佳的模型,使用各個模型對驗證集數據進行預測,并記錄模型準確率。選出效果最佳的模型所對應的參數,即用來調整模型參數。如svn中的參數c和核函數等。

測試集(Test set)

通過訓練集和驗證集得出最優模型后,使用測試集進行模型預測。用來衡量該最優模型的性能和分類能力。即可以把測試集當做從來不存在的數據集,當已經確定模型參數后,使用測試集進行模型性能評價。

對原始數據進行三個數據集的劃分,也是為了防止模型過擬合。當使用了所有的原始數據去訓練模型,得到的結果很可能是該模型最大程度地擬合了原始數據,亦即該模型是為了擬合所有原始數據而存在。當新的樣本出現,再使用該模型進行預測,效果可能還不如只使用一部分數據訓練的模型。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢