
繼移動互聯網后的又一個浪潮:大數據
數據成為 DT 時代的核心要素。 今年上半年互聯網熱出現一個新動向,就是入口和應用場景的爭奪已到了短兵相接、貼身肉搏的激烈程度。巨頭們爭奪的最終目標是數據資源。數據已成為 DT(數據技術)時代的核心要素。世界經濟論壇報告曾經預測: “未來的大數據 將成為新的財富高地,其價值可能會堪比石油”,成為戰略性資源。
被低估的影響:大數據將指引人類走向智能社會。 一方面大數據“量”和“質”的雙提升奠定人工智能的基礎,另一方面數據驅動顛覆傳統計算機算法,導致人工智能出現突破性進展,而人工智能又進一步加速了大數據價值的挖掘和應用,使人類社會進入了向智能社會 發展的“正循環”。
政府:推動大數據應用的最關鍵力量。 政府擁有最多且最具應用價值的核心數據,一方面大數據已經上升至各國國家戰略,政府推進大數據開放已經是大勢所趨: 美國等發達國家紛紛布局大數據產業,推出大數據相關政策。大數據對整個世界的影響力呈現快速增長趨 勢,將引發新一輪大國競爭。 另一方面我國對大數據的政策支持力度上不斷提升,大數據戰略將上升至國家戰略, 國務院已經下達各部委大數據工作任務行動時間表,大數據發展緊迫性和必要性可見一斑,同時也意味著我國大數據發展面臨歷史性機遇。
數據價值正在被不斷發現。 互聯網早期有句名言 “在網上,沒有人知道你是一條狗。 ”如今有了大數據,在網上,不僅有人知道你是一條“狗”,而且還知道你是一條什么樣的“狗”,愛吃什么、什么時候睡。大數據除了具有挖掘商機、精準營銷、決策支持、提高效 率等發現價值功能,還有創造價值的功能:能創造新的消費體驗、創造新的商業模式和創造新的消費需求。
大數據產業鏈: 一是數據收集, 其途徑:
1、自行收集。如今年 1 月工行“融e 購”商城正式上線,其目的是希望通過發展電商來獲得大數據方面的主動權;
2、與第三方合作。如平安銀行攜手 eBay 推出“貸貸平安商務卡”;
3、“線下數據”轉變為“線上數據”。傳統行業的“線下數據”轉變為“線上數據”將是 DT 時代的血液之一。 “線下數據”就是傳統行業的優勢。
二是數據處理,數據處理包括鑒別、整理、歸類以及建模分析、挖掘利用等,數據科學家可能成為未來最熱門職業。三是技術支撐,包括硬件和軟件兩部分。
大數據與產業的聚合效應。 大數據與生物醫藥、農業、電信、視頻、 互聯網金融、工業互聯網、車聯網、信息安全等產業的結合將產生巨大的化學反應。
1. 大數據: DT 時代的核心要素
1.1. 大數據是未來社會的核心資源
大數據是“互聯網+”的核心要素。 互聯網的未來在于連接一切,從連接人與人向連接人與服務、人與物、物與物擴散, 使得海量數據的生產和連通變成現實,成為大數據應用的基礎。 尤其在傳統行業,信息及數據是被忽視的, 缺乏有效的手段進行充分利用, 互聯 網與傳統產業融合的重要目的在于將潛在信息和數據的價值進行釋放, 因此,評價“互聯網 +”的指標絕非是簡單的信息化,而是對企業的整體生態系統進行數據化, 讓企業的一切業務都變得可以分析, 進而更好的識別市場和用戶。
從某種程度上來說, 數據是現實世界在虛擬世界的一個“映像”, 可以通過數據挖掘對“虛擬映像”進行分析, 進而對工作流程、商業模式、產品設計產生巨大的影響, 服務于產業本身。 正如馬化騰所說,“互聯網 +”代表的是一種“信息能源”,能夠促使互聯網 與傳統產業不斷融合。
數據逐漸成為整個經濟社會的核心資源。十八世紀的農業社會,經濟整體以農業為主,十九世紀制造業起步, 1950 年 GDP 大部分是制造業, 而未來數字經濟占據經濟的主體地位已經成為必然的趨勢。全球經濟從農業經濟到工業經濟再到信息經濟演變的驅動力來自于 技術的突破,技術在改變生產力和生產關系。信息要素全面升級,尤其是云計算正在變成基礎設施,數據在變成整個經濟社會的核心資源。
1.2. 被低估的影響: 大數據將指引人類走向智能社會
1.2.1. 大數據“量”和“質”的雙提升奠定機器智能的基礎
第一,萬物互聯造就了數據“量”的階躍發展。 從人類文明出現到 2003 年,人類總共才產生了 5EB(ExaBytes)的數據。計算機出現后, 尤其是近年來移動互聯網和物聯網的出現, 數據產生的速度和規模開始急劇提升, 過去幾年產生的數據比以往 4 萬年的數據總 量還要多。預計隨著互聯網與產業的加速融合,未來數據體量的增速將呈現指數上升態勢。 IDC 預計 2020 年全球數據使用量將達到 40ZB(ZettaBytes),需要約 429 億個 1TB的硬盤進行存儲,屆時中國產生的數據量將占到全球總量的 21%。
第二,數據逐步趨向與由“端”產生, 從“質”上講兼具多維性與完備性。 數據的產生一定會在云、端、網這三個視角產生。 2014 年全球互聯網用戶有 30 億, Facebook 有 22億注冊用戶,月活躍用戶超過 13 億人口。我們在 2014 年全球智能手機出貨量突破 13 億,連網設備超過 300 億個。 未來可能會有 80-90%數據基于用戶智能終端和聯網設備產生,由于這些數據連接人體、連接環境、連接物體、連接思想, 將原來看似無關的維度(時間、地域、食品、做法,成分,人的身份和收入情況等)聯系了起來, 構成了今天的非常 生動的數據社會的景象,這種數據連接起來才能流動共享,真正實現數據的社會經濟價值。
1.2.2. 數據驅動顛覆傳統計算機算法, 導致人工智能出現突破性進展
互聯網的發展為訓練機器模型提供了足夠多的數據量,而這種數據驅動算法以深度學習為代表,不但顛覆了傳統的計算機算法,也使得人工智能出現突破性拐點。一個典型的例子是 2005 年 NIST 對全世界各家機器翻譯系統評測的結果中,從未做過機器翻譯的Google, 不僅一舉奪得了各項評比的第一名,而且將其它單位的系統遠遠拋在了后面,而 Google 系統和其他系統主要的優勢就在于使用了其他對手近萬倍的數據量。 而國內人工智能代表公司科大訊飛近幾年在采用深度學習算法,利用大數據訓練后,近幾年其語音識別和手寫識 別錯誤率均保持 30%-50%的下降。
1.2.3. 大數據與人工智能相互促進,實現發展的正循環
人工智能是解決大數據的數量和效率之間矛盾的關鍵
傳統的機器學習通過標記數據進行有監督學習,隨著其處理數據量的增大, 需要外界的支持和幫助也就不斷增加, 且計算結果準確性也會受到影響。 因此越來越多的數據將成為負擔,也更容易達到極限或產生錯誤結果。人工智能的突破性技術——深度學習是從未經標 記的數據展開學習,更接近人腦的學習方式,可以通過訓練之后自行掌握概念,且輸出結果會隨著數據處理量的增大而更加準確。同時,深度學習在加速回歸定律的指引下會使得進化過程中產物(輸出結果)獲得指數級增長,當深度學習的效率變得更高,就會吸引更多 的資源向它聚合,使其發展更為迅速。
大數據利用人工智能實現大數據應用的正循環
百度首席科學家吳恩達層提出 : 從優秀產品到大量用戶,再到海量數據,最后返回優秀產品是一個良性循環,但最后一個環節“海量數據到優秀產品”會出現問題,因為當數據積累過多時,就無法對這些數據進行完整和準確的處理。
以百度為例, 百度的數據處理自上而下分成開放云、數據工廠和百度大腦三個層級,最底層的開放云收集數據,數據工廠對數據庫進行管理,最上層百度大腦的模擬神經網絡通過機器學習高效的輸出結果,從而實現行業應用,百度大腦就是在最后一個環節體現出巨大價 值,帶來更好的信息處理能力,從而產生更加廣泛和深入的行業應用,比如百度大數據此前在醫療、交通和金融領域的應用。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25