熱線電話：13121318867

登錄
首頁精彩閱讀淺析機器學習的主題模型和語義分析
淺析機器學習的主題模型和語義分析
2017-12-21
收藏

淺析機器學習的主題模型和語義分析

下面和大家分享下機器學習中ＬＤＡ主題模型的心得，首先從大體上來說假設有400篇文檔，每一篇文檔后面都m個主題，可以是 醫學，教育，軍事。。 那么對這400篇文檔我們提取出它的詞庫，假設一共有L個詞

那么每一個主題后面都對應著一個詞庫，我們可以理解為每一個主題后面都對應著L維的一個詞分布。好的接下來我們拿到一篇文檔，它后面有個主題分布是m維的，那么我們從這m維的主題分布中根據分布選出一個主題，然后這個主題背后又有一個L維的詞庫分布，再從這個詞庫分布中選出一個詞。然后不斷地迭代，這就是LDA總體在干的事情?？傮w看上去好像不難，不過具體討論到各個主題分布，以及相應的詞分布時可能就有點繞了，LZ也是花了一些力氣才把它理解
　那么接下來我們先討論一個叫做beta分布東西，那么對它進行一個高維推廣就是一個狄利克雷分布，這個分布，有了這兩個東西，其實說白了，主題分布就一個狄利克雷(簡記為dir)分布乘上一個多項分布，根據共軛分布，所以就得到一個新的狄利克雷分布，這個dir分布那么他有個參數alpha需要調參，當這個參數大于1，那么一篇文檔的主題就越不明顯，如果這參數小于1，那么這篇文檔的主題就更加突出。接下來我們對于詞分布做同樣的事情，每一個詞都是一個參數為alpha2的dir分布，好了那么主題分布有了，關于我們文檔主題的個數m和主題分布alpha和alpha2需要自己調參的，根據實際情況。
　好了那么詞分布有了，主題分布有了，我們就能做開頭說的事情了，對于一篇文檔，更加dir的主題分布選出主題，再根據主題后面的詞分布選出詞，那么我們就能選出這個主題在這篇文檔中的詞，或者這個詞的主題關于其中的公式推動請允許LZ偷個懶（哈哈哈）很多文獻中都有相關推導，其實是LZ找不到文檔了
　接下來我們說gibbs采樣，其實也可以說得很簡單，就是假如一篇文檔中有諾干個詞，那么我們把其中一個詞去掉z,然后看其他詞對于主題分布，那么我們就能求在去掉z詞之后詞z的主題分布，然后從這個分布中根據概率選出一個主題，這就是這個詞的主題。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

機器學習

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇互聯網巨頭搶灘電影業 大數據精準營銷成趨勢
下一篇詳解Python中用于計算指數的exp()方法
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢