熱線電話:13121318867

登錄
首頁精彩閱讀機器學習的超參數是什么
機器學習的超參數是什么
2018-08-15
收藏

機器學習的超參數是什么

自從接觸了機器學習后,在很多地方如書籍和文獻中經常會看到有一類參數叫超參數(hyperparameter),其中提超參數最多的地方是在支持向量機SVM)和深度學習(Deep Learning)中,比如支持向量機中的松弛因子:

上式中的C就是松弛因子,這個參數在支持向量機中不像參數W那樣,可以通過優化學習得到。還有深度學習中的超參數,如學習率(Learning Rate),在訓練深度網絡時,這個學習率參數需要提前指定,比如最近設為0.09等。

那么問題來了,到底什么是超參數(hyperparameter)?在很多教材和文獻中都是默認你理解超參數的定義的。如果不知道超參數的定義的話,有些文獻中的話可能不好理解,比如在機器學習中,尤其是在支持向量機中,為什么有些文獻要把數據集分割成訓練集,驗證集和測試集,而不是直接分割為訓練集和測試集?只有理解了何謂超參數,才會明白某些文獻中這樣分割的道理。

什么是超參數呢?先來看一下超參數的學院風定義:在機器學習的上下文中,超參數是在開始學習過程之前設置值的參數,而不是通過訓練得到的參數數據。通常情況下,需要對超參數進行優化,給學習機選擇一組最優超參數,以提高學習的性能和效果。

超參數的通俗定義:超參數也是一種參數,它具有參數的特性,比如未知,也就是它不是一個已知常量。一種手工可配置的設置,需要為它根據已有或現有的經驗指定“正確”的值,也就是人為為它設定一個值,它不是通過系統學習得到的。

下面主要看看超參數在機器學習中的定義及示例:

機器學習的上下文中,超參數是在開始學習過程之前設置值的參數。 相反,其他參數的值通過訓練得出。
超參數:
  1.  定義關于模型的更高層次的概念,如復雜性或學習能力。
  2.  不能直接從標準模型培訓過程中的數據中學習,需要預先定義。
  3.  可以通過設置不同的值,訓練不同的模型和選擇更好的測試值來決定
超參數的一些示例:
   1. 樹的數量或樹的深度
   2. 矩陣分解中潛在因素的數量
   3. 學習率(多種模式)
   4. 深層神經網絡隱藏層數
   5. k均值聚類中的簇數

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢