CDA LEVEL 1 考試，知識點《機器學習基本概念》

2024-10-04

機器學習研究如何讓計算機不需要明確的程序也能具備學習能力。(—— Arthur Samuel,1959) 二、模型構建流程 既然我們機器學習是借助數學模型理解數學，那么最重要的原材料就是數據了。獲取數據 ...

CDA LEVEL 1 考試，知識點匯總《聚類分析》

2024-08-13

層次聚類法通常分為自底向上和自頂向下。兩種方法的運算原理其實是相同的。只不過實際計算是方向相反。 自底向上，又叫做合并法。這種方法是先將每個樣本分別作為一個獨立的類，然后通過距離計算，將距離相近的兩 ...

CDA LEVEL 1 考試，知識點匯總《因子分析》

2024-08-13

一、基本概念 1.什么是因子分析？ 主成分分析時一般情況下不能對主成分所代表含義進行業務上的解讀，因為主成分方向上一般不會恰好某些變量權重大， 而另外一些變量權重都小，這也表現在主成分權重的形成的 ...

數據分析師知識點匯總（主成分分析）

2021-02-19

一、具體方法 1.主成分分析的具體方法 主成分分析是一類常用的針對連續變量的降維方法，選取能夠最大化解釋數據變異的成分，將數據從高維降到低維，同時 保證各個維度之間正交。 對變量的協方差矩陣或相關系 ...

用機器學習檢測異常點擊流

2018-08-18

用機器學習檢測異常點擊流 本文內容是我學習ML時做的一個練手項目，描述應用機器學習的一般步驟。該項目的目標是從點擊流數據中找出惡意用戶的請求。點擊流數據長下圖這樣子，包括請求時間、IP、平臺等特征： ...

你是如何被“大數據”洗腦的

2018-07-12

你是如何被“大數據”洗腦的 一家公司希望了解自家產品的用戶畫像，于是他們在產品包裝上印上自家小程序的二維碼，然后想辦法促使用戶去掃碼（比如掃碼查真偽、掃碼學習食用方法等）。一旦用戶掃描二維碼，公司 ...

一種面向高維數據的集成聚類算法

2018-06-10

一種面向高維數據的集成聚類算法 聚類集成已經成為機器學習的研究熱點，它對原始數據集的多個聚類結果進行學習和集成，得到一個能較好地反映數據集內在結構的數據劃分。很多學者的研究證明聚類集成能有效 ...

如何對混合型數據做聚類分析

2018-06-10

如何對混合型數據做聚類分析  利用聚類分析，我們可以很容易地看清數據集中樣本的分布情況。以往介紹聚類分析的文章中通常只介紹如何處理連續型變量，這些文字并沒有過多地介紹如何處理混合型數據（如同 ...

主成分分析與因子分析及SPSS實現

2018-05-25

主成分分析與因子分析及SPSS實現 一、主成分分析 （1）問題提出 在問題研究中，為了不遺漏和準確起見，往往會面面俱到，取得大量的指標來進行分析。比如為了研究某種疾病的影響因素，我們可能會收集患者 ...

如何發掘大數據商業價值？四大場景解決兩個戰略問題

2018-04-25

如何發掘大數據商業價值？四大場景解決兩個戰略問題 在《數據帝國時代的數字營銷焦慮》一文中，我曾寫道：中國的數字媒體進入了一個數據帝國時代。BAT的帝國江山穩如磐石，直接或間接的控制著各種內容類型和內 ...

數據挖掘的客戶知識管理模型研

2018-04-04

數據挖掘的客戶知識管理模型研 隨著經濟全球化和科技信息技術的快速發展。世界進入了一個嶄新的知識經濟時代。企業所處的競爭環境發生了深刻的變化，原有的市場開始衰落、競爭對手成倍增長、新技術突飛猛進、產 ...

機器學習中的數據集合

2018-03-31

機器學習中的數據集合 數據集分類 在有監督(supervise)的機器學習中，數據集常被分成2~3個，即：訓練集(train set) 驗證集(validation set) 測試集(test set)。 訓練集用來估計模型，驗證集用來確定網絡結構或 ...

機器學習解決問題的步驟

2018-03-20

機器學習解決問題的步驟 針對任何一個打算由機器學習算法來解決的問題，都有一種『套路』存在，只要按照這個模板『按部就班』就能夠得到一個結果。就跟一個產品的生產流水線是一個道理。但是得到結果的好壞跟你 ...

機器學習入門報告之 解決問題一般工作流程

2018-03-20

機器學習入門報告之 解決問題一般工作流程 對于給定的數據集和問題，用機器學習的方法解決問題的工作一般分為4個步驟： 一．     數據預處理 首先，必須確保數據的格式符合要求 ...

數據倉庫維度模型粒度提升情況淺析

2018-02-01

數據倉庫維度模型粒度提升情況淺析 維度建模時，力求在數據倉庫中記錄最明細粒度的數據，以保證完整記錄業務發生的事實，從而滿足日后面臨不同分析需求時能夠對數據進一步加工利用?？稍谏虡I智能項目中往往還需 ...

Python使用三種方法實現PCA算法

2018-01-23

Python使用三種方法實現PCA算法 主成分分析，即Principal Component Analysis（PCA），是多元統計中的重要內容，也廣泛應用于機器學習和其它領域。它的主要作用是對高維數據進行降維。PCA把原先的n個特征用數 ...

【北京阿博泰克北大青鳥信息技術有限公司】招聘數據分析師

2018-01-14

【北京阿博泰克北大青鳥信息技術有限公司】招聘數據分析師 北大青鳥IT教育（北大青鳥APTECH）成立于1999年，秉承“教育改變生活”的理念，長期專注于中國IT職業教育領域，致力于培養中國IT技能緊缺型實用人才，是我 ...

數據挖掘總結之主成分分析與因子分析

2018-01-12

數據挖掘總結之主成分分析與因子分析 主成分分析與因子分析 1）概念： 主成分分析概念：主成分分析是把原來多個變量劃為少數幾個綜合指標的一種統計分析方法。主成分分析（PCA）是一種數據降維技巧，它能 ...

以電商為例，數據分析的5個思維方法

2018-01-08

以電商為例，數據分析的5個思維方法 數據分析真的很重要，能從一堆看似雜亂的數據里，找到問題并解決問題。從數據上的變化，來判斷甄別效果得失；簡直是居家旅行，運營生意的必備良品。 首先，我們要知 ...

基于標記數據學習降低誤報率的算法優化

2017-12-30

基于標記數據學習降低誤報率的算法優化 無論是基于規則匹配的策略，還是基于復雜的安全分析模型，安全設備產生的告警都存在大量誤報，這是一個相當普遍的問題。其中一個重要的原因是每個客戶的應用場景和數據都 ...