大數據可以預測 可靠性尚不確定

2018-02-03

大數據可以預測 可靠性尚不確定 人類生活需要預測，但可靠性卻實在不敢讓人恭維，鮮有正確。這有人為因素，也有技術原因。     比如“非樣本錯誤”。假設有一位司機，駕齡30年，出行2萬次，只 ...

淺談利用邏輯回歸來解決文本分類時的模型調優

2018-01-18

淺談利用邏輯回歸來解決文本分類時的模型調優 想和數據挖掘沾點邊，所以最近在復習一些算法，因為又學了點R，深感這是個統計分析挖掘的利器，所以想用R實現一些挖掘算法。 樸素貝葉斯法大概是最簡單的一種挖 ...

python中如何使用樸素貝葉斯算法

2018-01-06

python中如何使用樸素貝葉斯算法 這里再重復一下標題為什么是\"使用\"而不是\"實現\"： 首先，專業人士提供的算法比我們自己寫的算法無論是效率還是正確率上都要高。 其次，對于數學不好的人來說，為了實現算法 ...

R語言多元分析系列

2017-07-21

R語言多元分析系列 R語言多元分析系列之一：主成分分析 主成分分析（principal components analysis， PCA）是一種分析、簡化數據集的技術。它把原始數據變換到一個新的坐標系統中，使得任何數據投影的第一 ...

R語言判別分析

2017-07-19

R語言判別分析 本文中分三個方法介紹判別分析，Bayes判別，距離判別，Fisher判別。前兩種判別方法都要考慮兩個、或多個總體協方差（這里是算方差，方差是協方差的一種）相等或不等的情況，由var.equal=的邏輯參 ...

用十張圖解釋機器學習的基本概念

2017-03-20

用十張圖解釋機器學習的基本概念 在解釋機器學習的基本概念的時候，我發現自己總是回到有限的幾幅圖中。以下是我認為最有啟發性的條目列表。 1. Test and training error: 為什么低訓練誤差并不總 ...

R語言實現樸素貝葉斯中文文本分類

2017-01-13

R語言實現樸素貝葉斯中文文本分類 一、樸素貝葉斯及其原理。     貝葉斯公式P(A|B) = P(B|A)*P(A)/P(B)   其中：P(A|B)  是B的后驗概率，是我們計算出來的。 P(B)是先驗概率，是 ...

十張圖解釋機器學習的基本概念

2016-10-05

十張圖解釋機器學習的基本概念 在解釋機器學習的基本概念的時候，我發現自己總是回到有限的幾幅圖中。以下是我認為最有啟發性的條目列表。 1. Test and training error: 為什么低訓練誤差并不總是 ...

2017校招數據分析崗位筆試/面試知識點

2016-09-30

2017校招數據分析崗位筆試/面試知識點 2017校招正在火熱的進行，后面會不斷更新涉及到的相關知識點。盡管聽說今年幾個大互聯網公司招的人超少，但好像哪一年都說是就業困難，能夠進去當然最好，不能進去是不是 ...

數據挖掘分類方法小結

2016-07-31

數據挖掘分類方法小結 數據倉庫，數據庫或者其它信息庫中隱藏著許多可以為商業、科研等活動的決策提供所需要的知識。分類與預測是兩種數據分析形式，它們可以用來抽取能夠描述重要數據集合或預測未來數據趨勢的 ...

如何用貝葉斯算法甄選優質PD和程序員？

2016-05-07

如何用貝葉斯算法甄選優質PD和程序員？ 今天中午和同事聚餐的時候討論一個有趣的話題：我們經常用樸素貝葉斯來過濾垃圾郵件，可以用樸素貝葉斯算法來挑選靠譜的小伙伴、過濾掉不靠譜的求職者嗎？ 正方觀點招 ...

大數據工具比較-R語言和Spark誰更強

2016-02-20

大數據工具比較-R語言和Spark誰更強 現如今的大數據工具真是多，在數據分析師工作中，使用哪些工具更加合適呢，r語言和Spark機器學習那個中有市場率更高些，那個在運算中更快更強些呢？ Spark的機器學習庫 ...

樸素貝葉斯算法的優缺點是什么？如何實現？

2020-07-24

在文本分類，垃圾郵件過濾的場景中，我們經常會用到的是樸素貝葉斯算法，今天小編就具體給大家介紹一下樸素貝葉斯算法 一、樸素貝葉斯算法簡介 1.樸素貝葉斯算法概念 樸素貝葉斯法是基于貝葉斯定理與特征 ...

最大后驗估計MAP是什么？它是怎么推導出來的？

2020-07-08

最大后驗估計(maximum a posteriori probability estimate), 簡稱為MAP。在貝葉斯統計學中，最大后驗估計是通過利用經驗數據獲得對未觀測量的點態估計。 與極大似然估計類似，不同的是，在似然函數后面多乘了一 ...

樸素貝葉斯（Naive Bayes）和校正曲線（Calibration Curve）

2020-06-10

算法回顧 圖片來源：https://medium.com/machine-learning-101/chapter-1-supervised-learning-and-naive-bayes-classification-part-1-theory-8b9e361897d5 貝葉斯分類算法屬于有監督機器學習（Su ...

最大后驗估計(MAP)的簡單介紹？

2020-05-20

最大后驗估計（maximum a posteriori probability estimate, 簡稱MAP），是貝葉斯學派的法寶之一。 與統計學派不同，貝葉斯學派認為在做估計之前，人們對要估計的實物先有一個經驗性的判斷，然后根據數據調整對這 ...

極具感染力的貝葉斯定理，寫給數據科學專業人的你

2020-03-27

作者 | KHYATI MAHENDRU 概述 貝葉斯定理是統計學中最強大的概念之一，而貝葉斯定理也是數據科學專業人員必須知道的定理 熟悉貝葉斯定理，其工作原理及其多種多樣的應 ...

統計學5個基本概念：統計特征、概率分布、降維、過采樣/欠采樣、貝葉斯統計方法

2020-05-18

本文講述了數據分析師應當了解的五個統計基本概念：統計特征、概率分布、降維、過采樣/欠采樣、貝葉斯統計方法。 利用統計學，我們可以更深入、更細致地觀察數據是如何進行精確組織的，并且基于這種組織結構， ...

22道機器學習常見面試題目匯總！(附詳細答案)

2019-12-03

作者 | 數據分析1480 來源 | lsxxx2011 (1) 無監督和有監督算法的區別？ 有監督學習：對具有概念標記（分類）的訓練樣本進行學習，以盡可能對訓練樣本集外的數據進行標記（分類）預測。 ...

機器學習與深度學習核心知識點總結(一)

2019-12-02

作者 | 小小挖掘機 來源 | SIGAI 數學 1.列舉常用的最優化方法 梯度下降法 牛頓法， 擬牛頓法 坐標下降法 梯度下降法的改進型如AdaDelta，AdaGrad，Adam，NAG等。 ...