熱線電話：13121318867

登錄
首頁職業發展淺談大數據的發展__問題和挑戰
淺談大數據的發展__問題和挑戰
2014-09-03
收藏
      淺談大數據的發展，目前，幾乎所有世界級的互聯網企業，都將業務觸角延伸至大數據產業。

　　無論社交平臺逐鹿、電商價格大戰還是門戶網站競爭，都有它的影子。大數據，正由技術熱詞變成一股社會浪潮，影響社會生活的方方面面。

　　何謂大數據？大數據或稱巨量資料，是指所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。（在 維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中，大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據的方法）大數據的4V特 點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。那么我們從定義上來理解一下“大數據”在《大數據時 代》所定義的四個特征中，我們可以大概感知得到它的價值：數據體量大，數據類型多，數據價值密度低，數據具有時效性。

　　伴隨著各種隨身設備、物聯網和云計算云存儲等技術的發展，人和物的所有軌跡都可以被記錄。在移動互聯網的核心網絡節點是人，不再是網頁。在數據大爆炸的背景下，大數據，也面臨著諸多挑戰.

 

　　來自于數據存儲方面的挑戰：大數據發展面臨的問題是來自不同地方、不同標準、數據量大、多種結構形式、實時性等多樣化要求的數據信息。這些問題無疑增加了數據采集和整合的困難，故此應修改基于塊和文件的存儲系統的架構設計，以克服存在的問題。

　　來自于數據安全方面的挑戰：數據的持續增長帶來了數據的安全問題。首先，大數據因為目標大而在網絡上更容易被發現；其次，大數據存在更敏感更有價值的數據，對潛在攻擊者的吸引力更大。此外，個人信息的曝露，也會造成個人安全的問題。

　　來自于數據顯示方面的挑戰：與數據分析相比，很多用戶往往更關心數據結果的顯示。傳統的以文本形式輸出結果或者直接在電腦終端上顯示結果的方法在面對小數據量或許是很好的選擇，但是對 于形式復雜的海量數據是不可行的。這就需要引入可視化技術來可視化最終甚至是中間的計算結果，此外，還需要人機交互技術或者數據起源技術，使得用戶在得到 結果的同時更好的理解結果的由來。

　　來自于數據成本控制方面的挑戰：對于那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控制成 本，就意味著我們要讓每一臺設備都實現更高的“效率”，同時還要減少那些昂貴的部件。重復數據刪除等技術已經進入到主存儲市場，而且還可以處理更多的數據 類型，這都可以為大數據存儲應用帶來更多的價值，提升存儲效率。在數據量不斷增長的環境中，通過減少后端存儲的消耗，哪怕只是降低幾個百分點。當今，數據 中心使用的傳統引導驅動器不僅故障率高，而且具有較高的維修和更換成本。如果用它替換數據中心的獨立服務器引導驅動器，則能將可靠性提升多達100倍。并 且對主機系統是透明的，能為每一個附加服務器提供唯一的引導鏡像，可簡化系統管理，提升可靠性，并且節電率高達60%，真正做到了節省成本的問題。

　　來自于數據分析方面的挑戰：數 據分析是大數據處理流程的核心，因為大數據的價值就產生于分析的過程，但是它同樣帶來了很大的挑戰。首先，數據量大帶來更大價值的同時也帶來了更多的數據 噪音，在進行數據清洗等預處理工作時必須更加謹慎，若清洗的粒度過細，很容易將有用的信息過濾掉，而清洗的粒度過粗，又無法達到理想的清洗效果，因此在質 與量之間需要進行仔細的考量和權衡，同時也對機器硬件和算法都是嚴峻的考驗。其次，傳統的數據倉庫系統對處理時間的要求并不高，而在很多大數據應用場的要 求。

　　大數據的意義是由人類日益普及的網絡行為所伴生的。從海量數據中“提純”出有用的信息，是一項非常龐大的工程，也是當下大數據時代面臨的重大挑戰。在經歷了近幾年來各界對大數據的批判、質疑、討論、炒作之后，大數據的發展依舊任重道遠。

數據分析師


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

大數據 數據分析 云計算 特征 數據清洗 數據倉庫

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇大數據時代人文社會科學如何發展
下一篇 數據分析師中國統計網——一位資深數據分析師的分享
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢