
大數據:巨人間的游戲籌碼
最近10年,沒有一個技術名詞能像大數據一樣深入社會每個階層,獲得這么廣泛的關注。大數據被討論得如此泛濫已經引起警覺,以至于2013年后,真正從事大數據行業的人盡量避免提及這三個字。本文無意對大數據概念做任何修正,評判,或專家論調。只是一些事實,和來自20年數據分析從業經驗的一些感想。1.輝煌的十年大數據浪潮來自三股力量推動:技術社區,市場,學術圈。2004, Google 發表了 “MapReduce: Simplified Data Processing on Large Clusters”,明確提出 MapReduce。值得注意的是,Google 并沒有發明什么,’分布執行-中央匯總’ 是最樸素古老的并行思想,Google 這篇文章價值在于,把這種并行思想流程化、規范化了,并提出了可能的實現架構。市場迅速對此作出反應,很多軟件實現涌現出來,其中最成功的是 Hadoop, 雅虎慷慨地把它交給Apache 軟件基金會。之后數年經過無數人努力發展成了完整的工具棧。
我只列舉了我熟悉的領域標志性事件,實際上每一年每個領域這個列表可以鋪滿一頁。2.大數據仍然是巨人游戲每次重要的技術革新都帶給市場一次重新洗牌的機會。這次革新體現尤為突出,值得注意的是這次變革開源社區一開始就參與進來,并且始終在技術層面上推動。這一點不同造成影響非常深刻,甚至改變了游戲規則。第一就是傳統巨頭和初創公司之間的硬件資源壁壘變的不明顯了。Hadoop 問世之初被稱為’窮人的大數據’,因為可以低成本使用廉價硬件堆疊計算能力,給那些買不起 IBM 小型機的企業,特別是創業公司,與巨頭競爭的機會。
另外網絡和智能設備的普及讓數據的流通屬性發揮的淋漓盡致,一個熱門服務短時間就能吸收巨大的數據流量。 這其間很多創業公司迅速從幾人小團隊發展成獨角獸公司。相對小公司的熱情擁抱,大公司用謹慎的步伐適應這個轉變,特別是傳統行業。第一懷疑開源產品的穩定性和安全性,第二大家習慣了付費從廠商得到支持,而不是自己參與到工具維護開發,甚至回饋技術社區??墒且坏┒冗^轉型期,大公司充分利用自己的渠道優勢,資源優勢,會想盡辦法把大數據變成巨人游戲。技術只是入場劵,在所有門檻里,這是最低的一道。巨人的游戲考驗的是裝備,耐力,人力,業務積累,那些成功的小公司的絕不是憑技術勝出。大公司的優勢之一是積累深厚,后勁足。大公司還有個優勢是,有足夠體量消化大數據的能量。如果公司業務線豐富,比如阿里、騰訊、百度、平安等,同一份數據在多個業務部門都可以釋放一次能量,這給了大公司更多空間對數據精耕細作。
3.不要把數據本身當作唯一壁壘,建立自己的數據閉環數據是非常脆弱的核心競爭力,數據本身不管多么大,無法支撐一個公司的長久運營。脆弱的原因是收集成本與復制成本極度不對等,特別是當前監管落后市場很多,一家電商網站一年的交易情況一個盤陣就可以塞滿;在線地圖廠商走遍每條街道手工采集的POI數據一個星期就被爬蟲收入囊中。公司在制定數據戰略的時候要認真考慮這種不對等,多層布局要把數據資產持久化運營和精細化運營。這方面的例子很多,實際上回顧 2010-2015 的互聯網的圈地狂潮,大伙兒都在做的兩件事就是:搶占入口,自建閉環。為了搶占入口各種地推燒錢,明爭暗斗無需多言。入口搶到了閉環的建立更困難。典型的數據閉環是:數據在消費端生成,通過交易、服務渠道完成采集,經過清洗匯總進入倉庫,加工分析應用到業務流程,市場反饋再通過消費端回來。這個閉環對業務流程的增量改進意義重大。說到閉環建設,亞馬遜和 eBay 5年間的地位更替很有代表性。
2015年,亞馬遜值剛剛超過了3000億美元,eBay 曾經是亞馬遜的主要競爭對手,在金融危機的2008年,兩家公司的市值還不相上下,但是現在只是它市值的四分之一。這5年發生了什么?亞馬遜是非常在意渠道建設和閉環打造,除了在線交易,在云計算,物流,支付,智能硬件,電子出版,新媒體都有大量投入,相比之下 eBay 的資源高度集中在自己的主營業務上。1995~2000年互聯網剛剛起步,亞馬遜采取的直營方式便于培養早期的用戶,但到2001~2007年電商快速發展,搶到流量就是搶到錢,eBay這樣的輕資產模式很快就能實現變現,所以它也是最先盈利的電商之一,此時亞馬遜是落后的。2008年的金融危機之后,電商行業又經歷了新的變化,交易額高速增長的時代告一段落,公司價值的競爭由過去的單純交易額和用戶驅動變成了價值鏈經營驅動,而實現了閉環經營的亞馬遜的市值又實現了反超。
2015年第二季度,亞馬遜服務收入已經超過60億美元,其中三分之一來自云服務,其他的來源還包括云平臺、物流、廣告,這部分業務可能會成為亞馬遜未來盈利能力的主要來源。4.讓大數據工作落地數據最關鍵的一個環節是數據解讀。如果并不懂數據的作用時,他們就不會參與,當他們不參與時,數據就沒有價值。數據團隊的工作如果不能落在實處,前面所有環節都是徒勞。Airbnb 公司的例子為數據團隊如何推廣工作結果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租賃公司,Aifbnd 非常有遠見,在團隊只有7個人的時候就有了專職大數據工程師,公司發展中每一次重大決策,數據團隊都發揮了重要作用。在早期團隊規模小的時候,大數據團隊工作模式是集中式的,分析團隊的意見可以很快傳達到決策層,業務端的反饋也同樣。隨著公司成長,溝通鏈條變得越來越長,數據團隊有被懸掛的感覺。其他同事不明白如何和我們互動,其他人對我們沒有完全的理解。
隨著時間的推移,數據團隊被看成一種靜態資源,被要求提供數據,而沒有能夠主動思考未來的機會。隨后數據團隊被重新組織。仍然遵循集中的管理,但是走出自己的小組,進入每個需求部門,直接同工程師、設計師、產品經理、營銷人員等等溝通。這樣做增加了整個公司的數據利用率,也使數據科學家成為積極的合作伙伴。如今Airbnb用戶遍布190個國家近34000個城市,2015年2月28日,估值將達到200億美元。5.相信數據,不憑感覺決策以往的分析模型大多是大模型+小數據,我們對模型本身做很多的假設和約束,人為干預在抽樣環節已經開始,在結果出來前就已經針對預期輸出準備好可能的解釋。
大數據時代有個明顯的特點是分析手段趨向粗暴簡單。無需抽樣,也不對分布做太多假設,用全樣本輸入;以深度神經網絡為代表的大數據模型對解釋性的要求降到最低。這種大數據+小模型在很多領域取得了成功,特別是在決策短的情況下,只要數據量足夠大,可以得到一些直接的洞見。2006年以前,賽林格受命用大數據為亞馬遜增加營收,那時亞馬遜作為單純的在線零售商并不為起平臺上的商家做廣告,塞林格認為在廣告銷售有很大的利潤潛力,于是將這件事匯報給了自己的老板貝索斯,后者認為這是個愚蠢的主意 “我們是零售商。為什么要銷售展示廣告?”。
盡管貝索斯不喜歡也不支持這個想法,但是他允許賽林格的團隊在網站上進行小規模測試,結果成為了亞馬遜有史以來最盈利的項目,他們把協同過濾,結構最簡單的推薦算法,做成了大數據一個經典案例。6. 大數據不是良藥 大數據還在進化大數據決策的另一個極端是過分專注于大數據的技術討論,而忽略了一個基本事實:大數據不會改變業務維度的復雜性。盡管大的趨勢是很多業務問題可以變成技術問題來解決,但是經歷十年快速發展,我們仍然處于大數據的初期階段。這個時期大數據的解決問題思路仍然是橫向的,試圖從量上突破。已經積累了大量數據的企業,可以快速兌現歷史紅利,當前的火爆很大程度是確實很大一部分過去二三十年甚至更久數據積累的一次集中釋放.當淺層數據價值挖掘干凈后,如果沒有健康持久的業務模式,問題還在哪里?,F在我們的大數據在五年后會變成小數據,MapReduce,Hadoop,stream computing 等概念會變成理所當然的基本操作,甚至集成在語言本身,在業務層面感知不到它們的存在。
現在或許是大數據最熱鬧的時代,當在大數據真正回歸業務的時候,才是大數據最好的時代。能活到那一天的都是從現在開始把大數據往深處做的人。大數據不是神話,不是泡沫,它是一些實在的工具和方法的綜合,是在其上構建的創意和生意。大數據已經走過十年輝煌,讓我們繼續期待。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25