
大數據也有黑暗面,what比why重要
對于大數據的四個特性我們當然了解,相關性也找到了,接下來就是如何利用大數據創造出價值?!按髷祿鞘裁础?,“大數據跟我有什么關系”,這是很多人第一次聽到大數據心中所產生的疑問。
據《30雜志》報道,麥爾?荀伯格在千余名想了解未來趨勢的觀眾面前,做了一場精彩易懂的演說,告訴了企業及民眾,什么是大數據。
大數據找出相關性
2009年,全球出現一種新的流感病毒H1N1,當時美國也無法幸免,疾病管制局(CDC)要求第一線的醫師遇到H1N1流感病例,必須立刻通報。即使如此,通報速度仍總是慢一步,會晚1到2個星期。這樣的時效讓疾管局無法掌握真實情況,對癥下藥。
當時有幾位Google 工程師在著名的《自然》科學期刊中發表了一篇論文。他們透過美國最常使用的前5000萬個搜尋關鍵字,再與疾管局2003-2008年間的流感傳播資料加以比對,用高達4.5億種不同的數學模型,找出這些字出現的頻率、時間及地點,有沒有統計上的相關性(correlation)。最后被他們挖到寶了,這套軟件找出了45個流感關鍵字眼,放進數學模型之后,預測結果與官方公布的真實資料吻合,有強烈的相關性。
Google 運用這套數學模型,再一次精準地掌握了流感發生的高峰及地區,讓防疫工作同步進行,不落后。
再說另一例子,天文學來說,美國太空總署執行一項叫史隆數碼巡天計劃(Sloan Digital Sky Survey),從2000年開始,他們用位于美國新墨西哥州的天文望遠鏡去收集資料,計劃開始不過幾星期,收到的天文資料量就已超過了過去所有天文學歷史的總和。到了2010年,這個計劃收到了140TB 的資料量。但是接續的新計劃,預計2016年登場,未來的巡天望遠鏡在5天內,就可收到這些資料量。
荀伯格說,當資料進入天文數字時代,荀伯格提醒:到底大數據有多大?其實不是那么重要,重點是在放大,擴大資料量等級,就能做出少量資料做不到的事。
舉例來說,畫一張馬的圖畫,不是太難的事,但如果畫了很多張馬的圖畫,再以每秒24幀來呈現這些圖畫,就成了動畫。這里要強調的是“量變”產生了“質變”,巨量就是這個道理,量的不同,也改變了本質。
what比why重要
量增加了,就出現另一項大數據的特色:亂(messy)。巨量資料的內容常是混亂不齊,質量不一。這是因為,巨量資料的收集過程中,它只要一個大方向即可,不需要講究到一寸、一分?!斑@并不是說我們放棄了精準這件事,只是不再將精準奉為圭臬,”荀伯格說。
舉例來說,我們要測量某個葡萄園的溫度,如果整片葡萄園只有一支溫度計,那這支溫度計就要十分精準,不能故障,但也意味著它會很貴。換句話說,就是不能有任何雜亂或出錯;相反的,如果我們今天在葡萄園里放了100支溫度計去測溫度,就可以用便宜一些,簡單的溫度計測出很精準的溫度。
100支溫度計代表的是量大,盡管其中幾支可能不那么精準,但卻可以收集到大量數據。比起只靠一支溫度計來說,更可看到全貌,代表全體。那此時,一點雜亂就顯得微不足道。
重點又來了,荀伯格忽然站起來向所有在場的觀眾說,大數據時代,資料數量比資料質量更重要。更不要為了一點點信息的偏差而影響了整體分析,想處理掉不精準的信息,成本會很高,也沒有必要!
另一個有趣的例子是沃爾瑪(73.54, 0.00, 0.00%)(Walmart),他們從龐大的交易記錄上發現,在颶風來襲前,銷量大增的不只是手電筒,還有一種美國小甜點 Top-Tarts,店家會在每次颶風來臨前,把一盒一盒的 Top-Tarts放在風災的必需品架上,方便急忙的顧客一次滿足,“特別是草莓口味的,賣得最好?!?/span>
請注意,這里Walmart不去弄清楚為什么颶風時人們特別想吃Top-Tarts,而是把這個相關性找出來,直接采取更有利的營銷動作。
荀伯格特別強調,大數據時代,what比why重要。
再舉一個例子,發生在他朋友,也是大數據專家,任教于華盛頓大學的教授伊茲奧尼(Oren Etzioni)身上。2003 年時他想從西雅圖塔機到洛杉磯參加弟弟的婚禮,他想愈早訂票愈能買到便宜,幾個月前他就買好了機票,也覺得買得很便宜。沒想到他在航程中,出于好奇問了隔壁乘客買多少錢,何時買的。結果,一問之下,都回答最近才買,且都比他買得便宜,他十分生氣。
下了飛機后,他決定去好好研究一下購買機票這件事。他發現,如果平均票價呈現下跌,買票就可以慢慢來;如果價格上揚中,你就要先訂票,以免它水漲船高。
伊茲奧尼花了41天的時間去比對一旅游網站中超過12000筆的票價資料,他建立了一個模型,讓模擬的消費者都省下了大筆的機票錢。在這模型里,消費者不懂“為什么(why)”,只知道“正是如此(what)”,消費者要決定現在是“買或是不買”。
后來這套模型發展出創業計劃,他創了一個Farecast網站,消費者可以做出最佳判斷,何時該買,還是不買。
大數據與價值
當我們知道了大數據的特性,也找到了相關性,接下來就是靠著它創造出價值來。
美國西雅圖有一家專門收集車輛實時定位的資料公司Inrix,它的資料來自上億臺的車輛。同時,它也推出手機 App服務,通過提供服務換取特定的司機資料,包括他們曾開車去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金,該基金根據大型零售商場附近的路況推測業績,在零售商公布季報前,搶先決定該買入或賣出。因為車潮就是錢潮。這就是價值。
英國的羅爾斯羅伊斯是著名的飛機引擎制造商,它通過在引擎上安裝了一個監控器,以掌控引擎是否正常運轉。結果隨著他們收集到的資料中發現,當引擎出現哪些信號異常,引擎可能會發生問題,這個監控變成了預測,大大減少飛安事故。羅爾斯羅伊斯從過去單單的制造引擎公司,轉型為服務咨詢,他們讓數據產生出價值。
荀伯格說了許多大數據的美好,但他強調,大數據有其黑暗面:隱私當然是一個該關注的焦點,但他強調,更可怕的是各種算法,去預測是不是會患心臟病?或你是否會犯罪等。有時,依靠大數據做出的演算與預測,如果與自由意志不符時,孰輕孰重?
同時,我們也擔心,愈來愈多的企業會掌握更多資料,但如此龐大的資料為他們所收集,拿去做了什么?什么用途?不一定能受到監督與管理,這是重要議題。
“巨量資料是為人類所掌控,而不是被巨量資料所掌控,”這是荀伯格最后的提醒。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025 年,數據如同數字時代的 DNA,編碼著人類社會的未來圖景,驅動著商業時代的運轉。從全球互聯網用戶每天產生的2.5億TB數據, ...
2025-05-27CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25