數據挖掘之用戶價值分析

2018-02-22

數據挖掘之用戶價值分析 這里要介紹的是基于每個用戶行為的綜合性的分析和評定，主要包括用戶的忠誠度和用戶的價值?！耙杂脩魹橹行摹钡睦碚撘缶W站不斷優化改善用戶的體驗，進而提升用戶的滿意度，當用戶的預 ...

機器學習python實戰之決策樹

2018-02-10

機器學習python實戰之決策樹 決策樹原理：從數據集中找出決定性的特征對數據集進行迭代劃分，直到某個分支下的數據都屬于同一類型，或者已經遍歷了所有劃分數據集的特征，停止決策樹算法。 每次劃分數據集的 ...

數據挖掘概念綜述

2018-01-29

數據挖掘概念綜述 數據挖掘又稱從數據庫中發現知識（KDD）、數據分析、數據融合（Data Fusion）以及決策支持。KDD一詞首次出現在1989年8月舉行的第11屆國際聯合人工智能學術會議上。隨后在1991年、1993年和199 ...

一文讀懂聚類算法

2018-01-11

一文讀懂聚類算法 1. 聚類的基本概念 1.1 定義 聚類是數據挖掘中的概念，就是按照某個特定標準(如距離)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中 ...

數據科學的基本內容

2018-01-08

數據科學的基本內容 什么是數據科學?它和已有的信息科學、統計學、機器學習等學科有什么不同?作為一門新興的學科，數據科學依賴兩個因素：一是數據的廣泛性和多樣性;二是數據研究的共性?，F代社會的各行各業都 ...

克服大數據集群的挑戰

2018-01-04

克服大數據集群的挑戰 數據存儲曾經是大數據的最大挑戰。由于云計算基礎設施的進步，存儲數據不再是關鍵問題。如今，數據科學家所面臨的最大問題是數據收集。 集群化使得大數據分析更容易。然而，集群也給數 ...

奇異值分解(SVD)原理詳解及推導

2017-12-22

奇異值分解(SVD)原理詳解及推導 在網上看到有很多文章介紹SVD的，講的也都不錯，但是感覺還是有需要補充的，特別是關于矩陣和映射之間的對應關系。前段時間看了國外的一篇文章，叫A Singularly Valuable Deco ...

奇異值分解SVD的理解與應用

2017-12-22

奇異值分解SVD的理解與應用 為更好的理解這篇文章，現在這里列出幾個文中出現的概念，想要更深的理解這些概念，可以看我的另一篇文章：關于特征值的理解。 向量的內積：兩向量a=[a1,a2,…,an]和b=[b1,b2,…, ...

數據挖掘中，分類與聚類的區別

2017-12-11

數據挖掘中，分類與聚類的區別 本文對數據挖掘中，極為常見的兩類算法：分類與聚類，做個梳理。 首先，來看看分類和聚類各自的一些定義描述。 分類(classification )： 分類算法需要學習，它通過學習找出描述 ...

數據挖掘中的分類和聚類

2017-12-11

數據挖掘中的分類和聚類 分類(classification )：有指導的類別劃分，在若干先驗標準的指導下進行，效果好壞取決于標準選取的好壞。 它找出描述并區分數據類或概念的模型(或函數)，以便能夠使用模型預測類標 ...

利用spark做文本分類（樸素貝葉斯模型）

2017-12-10

利用spark做文本分類（樸素貝葉斯模型） 樸素貝葉斯模型 樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。對于給定的訓練數據集，首先基于特征條件獨立假設學習輸入/輸出的聯合概率分布；然后基 ...

R語言中樣本平衡的幾種方法

2017-12-06

R語言中樣本平衡的幾種方法 在對不平衡的分類數據集進行建模時，機器學習算法可能并不穩定，其預測結果甚至可能是有偏的，而預測精度此時也變得帶有誤導性。在不平衡的數據中，任一算法都沒法從樣本量少的類中 ...

數據預處理和挖掘究竟該怎么做

2017-11-24

數據預處理和挖掘究竟該怎么做 在這個充斥著懷疑和謊言的網絡世界中，數據即真相。海量的原始數據正以驚人的速度增長，其中大部分都是非結構化的，但是通過運用分析我們可以發現其中重要的規律和線索以及隱藏在 ...

CDA邀你體驗Datacastle國際大師賽

2017-08-10

流言蜚語中，我們如何找到謠言傳播的引爆源？傳染疾病肆虐，我們如何搜索超級傳播者？金融危機中，如何發現風險的源頭？...... 為了進一步探討以上問題，數據科學競賽平臺DataCastle于6月13 ...

機器學習之深度學習

2017-07-25

機器學習之深度學習 本文基于臺大機器學習技法系列課程進行的筆記總結。 一、主要內容 topic 1  深度神經網絡結構 從類神經網絡結構中我們已經發現了神經網絡中的每一層實際上都是對前一層進 ...

機器學習模型評價(Evaluating Machine Learning Models)-主要概念與陷阱

2017-07-24

機器學習模型評價(Evaluating Machine Learning Models)-主要概念與陷阱 本文主要解釋一些關于機器學習模型評價的主要概念，與評價中可能會遇到的一些陷阱。如訓練集-驗證集二劃分校驗（Hold-out validation） ...

R語言主成分分析

2017-07-18

R語言主成分分析 解決自變量之間的多重共線性和減少變量個數 根據主成分分析的原理，它一方面可以將k個不獨立的指標變量通過線性變換變成k個相互獨立的新變量，這是解決多重共線性問題的一個重要方法；另一 ...

【spss典型相關分析】數學建模__SPSS_典型相關分析

2017-04-30

【spss典型相關分析】數學建模__SPSS_典型相關分析 典型相關分析 在對經濟問題的研究和管理研究中，不僅經常需要考察兩個變量之間的相關程度，而且還經常需要考察多個變量與多個變量之間即兩組變量之間的相 ...

簡單易學的機器學習算法—Rosenblatt感知機

2017-04-03

簡單易學的機器學習算法—Rosenblatt感知機 一、感知機的概念     感知機是一種二類分類的線性模型，輸入實例的特征向量，輸出為實例的類別，即+1或者-1。感知機模型是神經網絡和支持向量機的基 ...

簡單易學的機器學習算法—譜聚類(Spectal Clustering)

2017-03-28

簡單易學的機器學習算法—譜聚類(Spectal Clustering) 一、復雜網絡中的一些基本概念 1、復雜網絡的表示 在復雜網絡的表示中，復雜網絡可以建模成一個圖，其中，V表示網絡中的節點的集合，E表示的是連 ...