如何解決機器學習中數據不平衡問題

2017-07-09

如何解決機器學習中數據不平衡問題 這幾年來，機器學習和數據挖掘非?；馃?，它們逐漸為世界帶來實際價值。與此同時，越來越多的機器學習算法從學術界走向工業界，而在這個過程中會有很多困難。數據不平衡問題雖 ...

R語言中樣本平衡的幾種方法

2017-06-07

R語言中樣本平衡的幾種方法 在對不平衡的分類數據集進行建模時，機器學習算法可能并不穩定，其預測結果甚至可能是有偏的，而預測精度此時也變得帶有誤導性。在不平衡的數據中，任一算法都沒法從樣本量少的類中 ...

R語言-選擇“最佳”的回歸模型

2017-06-03

R語言-選擇“最佳”的回歸模型 嘗試獲取一個回歸方程時，實際上你就面對著從眾多可能的模型中做選擇的問題。是不是所有的變量都要包括？抑或去掉那個對預測貢獻不顯著的變量？還是需要添加多項式項和/或交互項 ...

sas信用評分之不用檢查異常值的最優分組

2017-05-29

sas信用評分之不用檢查異常值的最優分組 今天的更新比以往晚了一天，假期綜合癥第一天，我到現在已經喝了第三杯咖啡，實現上周的預告，這種更新一個不用檢查異常值的數值變量最優分組。其實這代碼我本來不想拿 ...

機器學習需要哪些數學基礎

2017-05-20

機器學習需要哪些數學基礎 過去的幾個月中，有幾人聯系我，訴說他們對嘗試進入數據科學的世界，以及用機器學習的技術去探索統計規律并構建無可挑剔的數據驅動型產品的熱忱。然而，我發現一些人實際上缺乏必要的 ...

簡單易學的機器學習算法—線性回歸(1)

2017-03-24

簡單易學的機器學習算法—線性回歸(1) 一、線性回歸的概念     對連續型數據做出預測屬于回歸問題。舉個簡單的例子：例如我們在知道房屋面積(HouseArea)和臥室的數量(Bedrooms)的情況下要求房屋 ...

用十張圖解釋機器學習的基本概念

2017-03-20

用十張圖解釋機器學習的基本概念 在解釋機器學習的基本概念的時候，我發現自己總是回到有限的幾幅圖中。以下是我認為最有啟發性的條目列表。 1. Test and training error: 為什么低訓練誤差并不總 ...

機器學習中的kNN算法及Matlab實例

2017-03-18

機器學習中的kNN算法及Matlab實例 K最近鄰(k-Nearest  Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似（即 ...

機器學習-Cross Validation交叉驗證Python實現

2017-03-16

機器學習-Cross Validation交叉驗證Python實現 1.原理 1.1 概念 交叉驗證(cross-validation)主要用于模型訓練或建模應用中，如分類預測、pcr、pls回歸建模等。在給定的樣本空間中，拿出大部分樣本作為訓練集來 ...

機器學習：決策樹（Decision Tree）

2017-03-11

機器學習：決策樹（Decision Tree） 決策樹（decision tree）是一種基本的分類與回歸方法。在分類問題中，它可以認為是if-then規則的集合，也可以認為是定義在特征空間與類空間上的條件概率分布。在學習時，利 ...

非常值得收藏的 IBM SPSS Modeler 算法簡介

2017-03-08

非常值得收藏的 IBM SPSS Modeler 算法簡介 IBM SPSS Modeler 以圖形化的界面、簡單的拖拽方式來快速構建數據挖掘分析模型著稱，它提供了完整的統計挖掘功能，包括來自于統計學、機器學習、人工智能等方面 ...

用Python進行機器學習小案例

2016-11-24

用Python進行機器學習小案例 本文是用Python編程語言來進行機器學習小實驗的第一篇。主要內容如下： 讀入數據并清洗數據 探索理解輸入數據的特點 分析如何為學習算法呈現數據 選擇正確的模型和學 ...

如何使用線性回歸分析來預測發電廠的發電量

2016-10-17

如何使用線性回歸分析來預測發電廠的發電量 在這篇文章中，我將會教大家如何通過擬合一個線性回歸模型來預測聯合循環發電廠（CCPP）的發電量。這個數據集則來自于UCI Machine Learning Repository。這個數據集 ...

機器學習、大數據等崗位面試時遇到的各種問題總結

2016-10-12

機器學習、大數據等崗位面試時遇到的各種問題總結 自己的專業方向是機器學習、數據挖掘，就業意向是互聯網行業與本專業相關的工作崗位。各個企業對這類崗位的命名可能有所不同，比如數據挖掘/自然語言處理/機器 ...

2017校招數據分析崗位筆試/面試知識點

2016-09-30

2017校招數據分析崗位筆試/面試知識點 2017校招正在火熱的進行，后面會不斷更新涉及到的相關知識點。盡管聽說今年幾個大互聯網公司招的人超少，但好像哪一年都說是就業困難，能夠進去當然最好，不能進去是不是 ...

【案例】R語言與機器學習學習筆記（分類算法）

2016-09-22

【案例】R語言與機器學習學習筆記（分類算法） 人工神經網絡（ANN），簡稱神經網絡，是一種模仿生物神經網絡的結構和功能的數學模型或計算模型。神經網絡由大量的人工神經元聯結進行計算。大多數情況下人工神經 ...

干貨 ：這7種回歸分析技術 學了不后悔

2016-09-15

干貨 ：這7種回歸分析技術 學了不后悔 本文解釋了回歸分析及其優勢，重點總結了應該掌握的線性回歸、邏輯回歸、多項式回歸、逐步回歸、嶺回歸、套索回歸、ElasticNet回歸等七種最常用的回歸技術及其關鍵要素， ...

對業務和用戶的理解,是數據挖掘“皇冠上的明珠”

2016-09-06

對業務和用戶的理解,是數據挖掘“皇冠上的明珠” 這篇文章不是數據挖掘教程，而是讓用研、產品、運營及其它相關崗位的同學了解： 數據挖掘的特點； 數據挖掘可以做哪些事情、有什么應用價值； 要發揮 ...

數據挖掘是對業務和用戶的理解

2016-09-02

數據挖掘是對業務和用戶的理解 數據挖掘有很高的專業門檻；然而用研、產品、運營們也不一定就會被數據科學家們“碾壓”了。這篇文章不是數據挖掘教程，而是讓用研、產品、運營及其它相關崗位的同學了解： 數 ...

數據挖掘系列決策樹分類算法

2016-08-15

數據挖掘系列決策樹分類算法 從這篇開始，我將介紹分類問題，主要介紹決策樹算法、樸素貝葉斯、支持向量機、BP神經網絡、懶惰學習算法、隨機森林與自適應增強算法、分類模型選擇和結果評價。 這篇先介紹 ...