
大數據具有生命力 賦予“人腦”智慧
近年來大數據技術的快速發展深刻改變了我們的生活、工作和思維方式。大數據研究專家舍恩伯格指出,大數據時代,人們對待數據的思維方式會發生如下三個變化:第一,人們處理的數據從樣本數據變成全部數據;第二,由于是全樣本數據,人們不得不接受數據的混雜性,而放棄對精確性的追求;第三,人類通過對大數據的處理,放棄對因果關系的渴求,轉而關注相關關系。事實上,大數據時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。
筆者認為,大數據思維最關鍵的轉變在于從自然思維轉向智能思維,使得大數據像具有生命力一樣,獲得類似于“人腦”的智能,甚至智慧。
總體思維
社會科學研究社會現象的總體特征,以往采樣一直是主要數據獲取手段,這是人類在無法獲得總體數據信息條件下的無奈選擇。在大數據時代,人們可以獲得與分析更多的數據,甚至是與之相關的所有數據,而不再依賴于采樣,從而可以帶來更全面的認識,可以更清楚地發現樣本無法揭示的細節信息。正如舍恩伯格總結道:“我們總是習慣把統計抽樣看作文明得以建立的牢固基石,就如同幾何學定理和萬有引力定律一樣。但是,統計抽樣其實只是為了在技術受限的特定時期,解決當時存在的一些特定問題而產生的,其歷史不足一百年。如今,技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下,我們依然可以使用樣本分析法,但這不再是我們分析數據的主要方式?!币簿褪钦f,在大數據時代,隨著數據收集、存儲、分析技術的突破性發展,我們可以更加方便、快捷、動態地獲得研究對象有關的所有數據,而不再因諸多限制不得不采用樣本研究方法,相應地,思維方式也應該從樣本思維轉向總體思維,從而能夠更加全面、立體、系統地認識總體狀況。
容錯思維
在小數據時代,由于收集的樣本信息量比較少,所以必須確保記錄下來的數據盡量結構化、精確化,否則,分析得出的結論在推及總體上就會“南轅北轍”,因此,就必須十分注重精確思維。然而,在大數據時代,得益于大數據技術的突破,大量的非結構化、異構化的數據能夠得到儲存和分析,這一方面提升了我們從數據中獲取知識和洞見的能力,另一方面也對傳統的精確思維造成了挑戰。舍恩伯格指出,“執迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用于傳統數據庫的。如果不接受混亂,剩下95%的非結構化數據都無法利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶”。也就是說,在大數據時代,思維方式要從精確思維轉向容錯思維,當擁有海量即時數據時,絕對的精準不再是追求的主要目標,適當忽略微觀層面上的精確度,容許一定程度的錯誤與混雜,反而可以在宏觀層面擁有更好的知識和洞察力。
相關思維
在小數據世界中,人們往往執著于現象背后的因果關系,試圖通過有限樣本數據來剖析其中的內在機理。小數據的另一個缺陷就是有限的樣本數據無法反映出事物之間的普遍性的相關關系。而在大數據時代,人們可以通過大數據技術挖掘出事物之間隱蔽的相關關系,獲得更多的認知與洞見,運用這些認知與洞見就可以幫助我們捕捉現在和預測未來,而建立在相關關系分析基礎上的預測正是大數據的核心議題。通過關注線性的相關關系,以及復雜的非線性相關關系,可以幫助人們看到很多以前不曾注意的聯系,還可以掌握以前無法理解的復雜技術和社會動態,相關關系甚至可以超越因果關系,成為我們了解這個世界的更好視角。舍恩伯格指出,大數據的出現讓人們放棄了對因果關系的渴求,轉而關注相關關系,人們只需知道“是什么”,而不用知道“為什么”。我們不必非得知道事物或現象背后的復雜深層原因,而只需要通過大數據分析獲知“是什么”就意義非凡,這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說,在大數據時代,思維方式要從因果思維轉向相關思維,努力顛覆千百年來人類形成的傳統思維模式和固有偏見,才能更好地分享大數據帶來的深刻洞見。
智能思維
不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智能和機器學習等新技術的發展,“機器人”研發也取得了突飛猛進的成果并開始一定應用。應該說,自進入到信息社會以來,人類社會的自動化、智能化水平已得到明顯提升,但始終面臨瓶頸而無法取得突破性進展,機器的思維方式仍屬于線性、簡單、物理的自然思維,智能水平仍不盡如人意。但是,大數據時代的到來,可以為提升機器智能帶來契機,因為大數據將有效推進機器思維方式由自然思維轉向智能思維,這才是大數據思維轉變的關鍵所在、核心內容。眾所周知,人腦之所以具有智能、智慧,就在于它能夠對周遭的數據信息進行全面收集、邏輯判斷和歸納總結,獲得有關事物或現象的認識與見解。同樣,在大數據時代,隨著物聯網、云計算、社會計算、可視技術等的突破發展,大數據系統也能夠自動地搜索所有相關的數據信息,并進而類似“人腦”一樣主動、立體、邏輯地分析數據、做出判斷、提供洞見,那么,無疑也就具有了類似人類的智能思維能力和預測未來的能力?!爸悄?、智慧”是大數據時代的顯著特征,大數據時代的思維方式也要求從自然思維轉向智能思維,不斷提升機器或系統的社會計算能力和智能化水平,從而獲得具有洞察力和新價值的東西,甚至類似于人類的“智慧”。
舍恩伯格指出,“大數據開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙,顯微鏡讓我們能夠觀測到微生物一樣,大數據正在改變我們的生活以及理解世界的方式,成為新發明和新服務的源泉,而更多的改變正蓄勢待發”。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25