
大數據技術存在局限 經驗直覺不可或缺
大數據將(Erik Brynjolfsson)稱,大數據將取代想法、范例、組織以及人們思考世界的方式。
這些前衛的預測的前提是:Web瀏覽記錄、傳感器信號、GPS跟蹤和社交網絡信息等數據能夠以前所未有的程度面向衡量和監控人類及設備的行為敞開大門。通過計算機算法,可以預測出人類的許多事情,如購物、約會或投票等。
業內專家預計,最終的結果就是:世界變得越來越智能,企業的工作效率越來越高,消費者獲得的服務質量越來越高,人們所做出的決定也越來越合理。
我之前寫過不少關于大數據的文章,但在2012年底這個特殊的時刻,我想應該是反思、 提問和質疑大數據的時刻。
從商業評估中挖掘實用啟示并非新鮮事物。100多年前,弗雷德里克溫斯洛泰勒(Frederick Winslow Taylor)的名著《科學管理原理》就是大數據的前身。泰勒的評估工具是秒表,為員工的每一個行動進行定時和監測。泰勒及其助手利用這種時間和動作研究模式來重新設計最有效的工作方式。
但如果這種方法被過度夸大,就成為了卓別林《摩登時代》(Modern Times)所諷刺的對象。此后,人們對于這種量化方法的熱情也開始跌宕起伏。
通常,互聯網被大數據倡導者作為成功的數據業務的范例,這其中以谷歌為代表。而如今,許多大數據技術,如數學模型、預測算法和人工智能軟件等已被華爾街所廣泛應用。
在本月的麻省理工學院大會上,當被問及大數據領域一些重大失敗案例時,幾乎沒有人能夠說出這樣的失敗案例。后來,麻省理工學院斯隆管理學院(Sloan School of Management)教授羅伯特萊格伯恩(Roberto Rigobon)稱,金融危機毫無疑問影響了數據業務。他說:對沖基金在全球都是失敗的。
問題是,數學模型是一種簡化。這種模型源自自然科學,根據物理定律,流體中的粒子行為是可以預測的。
在如此眾多的大數據應用中,一個數學模型通常附帶關于人類行為、興趣和偏好的精確數據。這種方法在金融等領域的危險性也是有目共睹,美國哥倫亞亞大學金融工程學系主任曼紐爾德曼(Emanuel Derman)在他的書中《Models. Behaving. Badly》中就詳細闡述了其危險性。
紐約創業公司Media6Degrees首席科學家克勞迪婭珀利徹(Claudia Perlich)稱:你可以用數據來欺騙自己,我擔心大數據出現泡沫。珀利徹擔心許多人將自己稱為數據科學家,但并未做足功課,反而給該領域抹黑。
珀利徹認為,大數據似乎將面臨勞動力瓶頸。她說:我們的技能提升速度還遠不夠。麥肯錫全球學會(McKinsey Global Institute)去年發布的一份報告顯示,美國需要14萬名至19萬名具有深度分析經驗的工作者,以及150萬名更加精通數據的經理人,無論是已退休人士還是已受聘人士。
哈佛商學研客座教授托馬斯達文波特(Thomas H. Davenport)正在寫一本名為《Keeping Up With the Quants》的新書,旨在幫助經理人來應對大數據挑戰。達文波特認為,管理大數據項目的一個重要部分是要問正確的問題:如何定義問題?你需要哪些數據?來自哪里?等等。
谷歌調研(Google Research)高級統計師雷切爾查特(Rachel Schutt)稱,如果建模人員能夠思考倫理維度(ethical dimensions)等問題,那就會更好地服務于社會。查特說:模型不僅僅是預測,它們還可以讓事情真正發生。
模型能夠創建數據科學家所謂的行為循環(behavioral loop),如果一個人被提供足夠的數據,都能對自己的行為進行指導。
以Facebook為例,將個人數據上傳到自己的Facebook頁面,Facebook的軟件就會跟蹤你的點擊和搜索。通過算法來評估這些數據,然后再提供好友的建議。
但這種通過軟件跟蹤用戶的行為卻引發了隱私擔憂,難道大數據將迎來數字監控的到來?
我個人最大的擔憂是,當前確定我們個人數字世界的算法過于簡單,不夠智能。這也是艾利帕里瑟(Eli Pariser)所著《The Filter Bubble: What the Internet Is Hiding From You》所探討的問題之一。
令人鼓舞的是,像珀利徹和查特這些有思想的數據科學家意識到了大數據技術的局限和不足。他們認為,聽取數據是重要的,但經驗和直覺同樣重要。
在麻省理工學院大會上,查特被問及如何才能成為一名優秀的數據科學家,她說,需要計算機科學和數學技能,擁有好奇心,具有創新意識,以數據和經驗為行動準則。她說:我不會把機器神化。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25