Spark 文本情感分析

2016-06-08

本文描述了一個基于 Spark 構建的認知系統：文本情感分析系統，分析和理解社交論壇的非結構化文本數據。 基于 Spark 的文本情感分析 文本情感分析是指對具有人為主觀情感色彩文本材料進行處理、分 ...

對“在線學習行為”可能應用方向的分析建模及挖掘

2016-05-10

對“在線學習行為”可能應用方向的分析建模及挖掘 在日趨精密數字技術條件下，學習模式已通過互聯網、社會化媒體實現數字化。海量的學習信息以數據的形式蘊含著學習者的隱性行為特征。文章從數據挖掘與領 ...

處理多重共線性問題

2016-05-07

處理多重共線性問題 一、多重共線性的表現 線性回歸模型中的解釋變量之間由于存在精確相關關系或高度相關關系?？此葡嗷オ毩⒌闹笜吮举|上是相同的，是可以相互代替的，但是完全共線性的情況并不多見，一般出 ...

用主成分法解決多重共線性問題

2016-05-06

用主成分法解決多重共線性問題 一、多重共線性的表現 線性回歸模型中的解釋變量之間由于存在精確相關關系或高度相關關系?？此葡嗷オ毩⒌闹笜吮举|上是相同的，是可以相互代替的，但是完全共線性的情況并不多 ...

線性判別分析(Linear Discriminant Analysis, LDA）算法分析

2016-04-24

線性判別分析(Linear Discriminant Analysis, LDA）算法分析 一． LDA算法概述： 線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear&nbs ...

SPSS主成分分析與因子分析之比較及實證分析

2016-04-20

SPSS主成分分析與因子分析之比較及實證分析 一、問題的提出 在科學研究或日常生活中，常常需要判斷某一事物在同類事物中的好壞、優劣程度及其發展規律等問題。而影響事物的特征及其發展規律的因素（指標）是 ...

如何利用機器學習進行海量數據挖掘

2016-04-20

互聯網的海量數據不可能靠人工一個個處理，只能依靠計算機批量處理。最初的做法是人為設定好一些規則，由機器來執行。但特征一多規則就很難制定，即使定下了規則也沒法根據實際情況靈活變化。機器學習可以很好的解決 ...

美團實例詳解機器學習如何解決問題

2016-04-06

前言：隨著大數據時代的到來，機器學習成為解決問題的一種重要且關鍵的工具。不管是工業界還是學術界，機器學習都是一個炙手可熱的方向，但是學術界和工業界對機器學習的研究各有側重，學術界側重于對機器學習理論的 ...

主成分分析與因子分析之比較及實證分析

2016-03-22

主成分分析與因子分析之比較及實證分析 一、問題的提出 在科學研究或日常生活中，常常需要判斷某一事物在同類事物中的好壞、優劣程度及其發展規律等問題。而影響事物的特征及其發展規律的因素（指標）是多 ...

R語言中的情感分析與機器學習

2016-02-14

來源 | 雪晴數據網 利用機器學習可以很方便的做情感分析。本篇文章將介紹在R語言中如何利用機器學習方法來做情感分析。在R語言中，由Timothy P.Jurka開發的情感分析以及更一般的文本挖掘包已經 ...

文本內容分析在網絡大數據中研究那些方向及問題

2016-02-05

文本內容分析在網絡大數據中研究那些方向及問題 文本內容分析是實現大數據的理解與價值發現的有效手段。嘗試從短文本主題建模、單詞表達學習和網頁排序學習3個子方向，探討網絡大數據文本內容分析的挑戰和研究 ...

R語言與數據分析：主成分分析

2016-01-27

R語言與數據分析：主成分分析 作為數據分析師，有很多剛剛接觸數據分析師的朋友，還不怎么了解主成分分析，看看這兩篇，你就搞懂主成分分析了。 第一篇：主成份分析歷史 Pearson于1901年提出，再 ...

數據挖掘：推薦系統綜述以及美團推薦系統介紹

2015-12-29

數據挖掘：推薦系統綜述以及美團推薦系統介紹 文 | 宿痕 來源 | 知乎 其實推薦系統前面已經講過不少，那時候主要是放在機器學習上講的，既然這次要系統擼一遍數據挖掘，就把推薦系統單 ...

35款好用工具，搞定信息圖+可視化

2015-12-29

35款好用工具，搞定信息圖+可視化 文 | GIJN STAFF  來源 | 全球深度報道網 數據可視化為新聞媒體提供了生動有效的敘事方式和包裝形式，也引領架構故事的思維變革。有哪些實 ...

常用的機器學習&數據挖掘知識(點）

2015-12-20

常用的機器學習&數據挖掘知識(點） Basis(基礎)： MSE(Mean Square Error 均方誤差)， LMS(LeastMean Square 最小均方)， LSM(Least Square Methods 最小二乘法)， MLE(MaximumLike ...

R語言與機器學習學習筆記2（分類算法）

2015-12-17

R語言與機器學習學習筆記2（分類算法）  當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱藏層、輸入層逐層反傳。周而復始的信息正向傳 ...

淺談數據處理中的相關分析

2015-11-17

淺談數據處理中的相關分析 大數據的發展經歷了從因果分析到相關分析的轉變。宏觀上來講，如果兩個事務存在某種統計學意義上的依賴性就稱兩者具有相關性。這里我們就簡單聊聊各種相關分析的方法。 &nbs ...

數據挖掘算法與生活中的應用案例

2015-10-29

數據挖掘算法與生活中的應用案例 如何分辨出垃圾郵件”、“如何判斷一筆交易是否屬于欺詐”、“如何判斷紅酒的品質和檔次”、“掃描王是如何做到文字識別的”、“如何判斷佚名的著作是否出自某位名家之 ...

數據分析：常用的降維方法之主成分分析

2015-09-24

數據分析：常用的降維方法之主成分分析 主成分分析（Principal Component Analysis，PCA）也稱主分量分析，旨在利用降維的思想，把多指標轉化為少數幾個綜合指標。 　　在統計學中，主成分分析是一種簡化數 ...

四大機器學習降維算法：PCA、LDA、LLE、Laplacian Eigenmaps

2015-04-02

四大機器學習降維算法：PCA、LDA、LLE、Laplacian Eigenmaps 引言 機器學習領域中所謂的降維就是指采用某種映射方法，將原高維空間中的數據點映射到低維度的空間中。降維的本質是學習一個映射函數 ...