熱線電話：13121318867

登錄
首頁精彩閱讀數據預處理和挖掘究竟該怎么做
數據預處理和挖掘究竟該怎么做
2017-11-24
收藏

數據預處理和挖掘究竟該怎么做

在這個充斥著懷疑和謊言的網絡世界中，數據即真相。海量的原始數據正以驚人的速度增長，其中大部分都是非結構化的，但是通過運用分析我們可以發現其中重要的規律和線索以及隱藏在數字背后的含義。今天我們將學習如何預處理數據，這是重要也最容易忽視的步驟之一，關鍵點如下：

預處理數據集有三步：清洗、轉換和簡化
深度學習可以自己從數據集中找到相關特征
PCA是常用的降維方法之一，可以通過Scikit-learn中模塊操作
數據預處理的三個核心步驟是：清洗，轉換，簡化。
例子中的第一個數據集與音樂相關，是通過一款名為“Tag A Tune”的小游戲搜集的（玩法請自行百度）。數據集里有25,000首歌以及正確的標簽。我們想以此數據集作為一個訓練樣本來建立一個可以區分歌曲所屬標簽種類的模型。
先導入Pandas來分析這個數據，通過讀取CSV函數來導入數據，它將在pandas中創建一個數據框。這個數據框很容易修改，我們將它命名為newdata。將head函數中參數設置為5，可以顯示數據的頭5條記錄。每一行都被排了序，每首歌都有一個id，每個標簽的值為0或者1，代表這首歌是否有這個標簽。
通過info()函數來獲取關于數據的更多信息，數據大小只有38MB。每個標簽都有一個簡單的二元取值，幸運的是每個字段也沒有空值，可以直奔第二步：數據轉換。
很多標簽聽上去很類似，例如女歌手，女聲，可以將它們統一歸為一個特征”女“。我們可以為數據中的同義詞創建一個二維列表，然后將它們合并到只剩第一列。對于列表中的每一組同義詞，將每一特征的最大值保留下來。對于數據中的同義詞，可以有效地把一組同義詞合并為一列，然后刪掉其他類似的詞，這樣可以得到更規范的特征。在數據簡化過程中，我們可以刪除那些不需要的信息。接下來我們可以準備模型用到的訓練集和測試集。
有一點需要注意，在整個過程中我們并沒有考慮哪些特征要用，哪些不用。在沒有深度學習的時候，我們需要先選擇合適的特征來喂一個模型。但是深度學習不需要我們再自行篩選特征了，它會根據我們放入模型的數據集，決定哪些與問題相關。在深度學習中，常說架構工程是新的特征工程。
第二個例子中的數據集是關于網絡連接，網絡連接要么正常，要么異常。異常連接是由于有入侵導致。我們想通過一系列特征判定網絡連接正?；虍惓?。當我們檢查該數據的時候，數據中沒有空值，也沒有異常值。因此，可以直接跳過清理數據一步，直接進行數據轉換。
數據集中數值型變量的范圍差異較大，需要先將這些變量進行標準化，可以直接用Scikit-learn里面的Standard Scaler模塊對數據進行標準化。標準化完畢后，接下來對數據進行簡化。數據中包含很多字段，其中有相當一部分還是高度相關的。我們可以通過“降維”的方法將特征的總數減少，這樣也有利于將數據在2D或3D的空間中展示，但這并不保證模型的結果將更精準，只是讓我們的數據更容易理解。
一種降維的方法是PCA(Principal Component Analysis)。數據有諸多特征，縮減它們只需要三步：首先是將數據標準化，然后計算相關系數矩陣，算出特征值和特征向量后進行主成分排名。例如我們有四個特征，想通過PCA的方法將其減少至兩個，一共5個步驟：
將數據標準化
計算協方差矩陣
特征分解（Eigen decomposition）
構成新投影矩陣(Projection Matrix)
通過這個矩陣來對原來數據進行轉換
許多入門教程在導入數據時只教如何導入預處理過的數據，例如手寫體數字或者電影評分數據，用一行代碼就能搞定，但實際操作沒那么簡單。遇到實際問題，都需要先找到正確的數據集，最終預測的結論依賴于最初導入的數據。所謂：種瓜得瓜，種豆得豆。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

特征 深度學習 降維 PCA 字段 數據標準化 特征向量 特征工程

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇Excel-漏斗圖分析（差異分析）
下一篇大數據分析工程師薪資水平
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢