
從數據到知性 大數據的生存進化之路
這幾年,大數據突然成了商業社會上的弄潮兒。似乎,一夜之間,大數據就像明星一樣紅遍大江南北。以前,只有在數學、統計、計算機等專業領域談到的數據,現在已經“飛入尋常百姓家”。大數據的各種應用、研究與實踐紛紛出現,名之為大數據的公司也是雨后春筍般涌現。不過,對于普通人而言,用具體的例子可以更好地解釋它。
數據是信息的表達,它的出現甚至比人更為久遠。在“宇宙大爆炸”的研究過程中,美國物理學家伽莫夫于1946年正式提出大爆炸理論,認為宇宙由大約140億年前發生的一次大爆炸形成。后來,哈勃通過望遠鏡觀測到“紅移現象”——就是星系正在遠離我們,表明宇宙正在膨脹。通過測量光譜中的特征譜線的位置,可以推算出其以前的位置。由此,我們可以推算出宇宙的大致年齡。宇宙中的每個物體都帶有信息,而信息會通過數據來表達。人類的智慧在于可以通過收集數據去認識一切。假如數據在宇宙誕生時就隨之出現,那么毫無疑問它的“年齡”比人類大得多。
《在科技想要什么》里,美國科技哲學家凱文·凱利就提出了“科技也是有生命力的”的觀點。他認為,傳統上,人們只把植物、動物、原生生物、真菌、原細菌、真細菌稱為生命。如果重新審視“生命”,那么科技或者技術可被稱為“第七種生命元素”。原因在于技術是生命的延伸,它的演進與生命的進化及其相似。那么依照這樣的觀點,我們完全可以把數據稱為“第八種生命元素”。人每時每刻都會散發出信息,比如你的身體、你的行為甚至你的思想。通過工具,我們可以記錄下你每時每刻的呼吸、心跳等許多身體數據,甚至連行為、思想也可以通過一些方法測量出來。在《智慧社會》里,美國的全球大數據權威阿萊克斯·彭特蘭通過社會計量標牌來測量人們的行為。這個設備僅有卡片大小,配備了測量佩戴者運動的傳感器、捕捉聲音的麥克風、檢測附近同類設備的藍牙,以及記錄面對面交流的紅外線傳感器。這個東西功能異常強大,比如在打撲克時,這款設備10次有7次可以很準確地判斷某人是否作弊;佩戴設備的人能夠在5分鐘內預測談判中的贏家。
以前限于技術和發展程度的限制,人們對數據并不重視,也沒有認識到數據的價值。但是現在通過技術手段,我們完全可以收集人類的一切數據,并對數據進行整理、分析和總結,從中發現驅使人類行為的背后因素。也就是說,我們可以通過數據來觀察人類。
舉一個例子,就是谷歌流感搜索與預測系統。2009年出現了一種新的流感病毒——H1N1,迅速席卷全球。因為它結合了禽流感與豬流感的特點,傳染力很強,破壞力極大。更糟糕的是,目前還沒有對抗這種病毒的疫苗。美國政府要求醫生在發現新型流感病例時要及時告知疾控預防中心。然而從人們發現自己患病到醫院再到疾控中心,時間會拉長,然而短短的時間新型流感可能已經爆發。這對政府、社會和國家來說,將會帶來巨大的損失。但是,谷歌卻比政府做得更好。谷歌公司把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節性流感傳播時期的數據進行了比較,他們希望通過人們的搜索記錄來判斷這些人是否患上了流感。他們的預測結果和官方數據的相關性達到97%。因此,2009年流感爆發的時候,谷歌成了一個很有效、很及時的指示標。
Google的流感搜索與預測系統
現在,不管是企業還是公司,手里都有巨量的數據。用于企業,海量的數據是企業未來的寶藏;用于社會,海量的數據可以為人們提供更好的生活和公共服務。以美國為例,在2014年,美國國稅局通過一個名為“Get transcript”的工具將納稅人的信息數據加以共享,納稅人可以通過它獲得他們自己最近三年的納稅記錄。個人納稅者可以借此下載過去的納稅申報單,這使得居民進行抵押、學生貸款、商務貸款等活動與填寫納稅表變得更加便捷。
如今,大數據相比以前的簡單數據,有三個特點:數量大、種類多、速度快。數量上,2011年新生成的和復制的信息量估計超過了1.8ZB(澤字節);而在2013年這一數字估計超過4ZB。要知道,1ZB等于1021 個字節,相當于存儲323兆份列夫·托爾斯泰所著的1250頁的《戰爭與和平》所需的容量。種類上,從農業生產到餐飲再到醫療保健,任何行業都會產生越來越多的數據。速度上,數據的產生更是以指數級增長,數據的產生和更新不斷加速。我們可以推知,數據的更迭會加速,就像人類的發展一樣。假如把幾百萬的歷史比作一小時,那么人類的輝煌卻產生在最后幾分鐘。不得不驚嘆,信息、技術和數據的變化遠遠超出了人類。以百度為例,它有一個全國遷徙動態地圖,隨時可從網上看到人們遷入和遷出的省份和城市。通過人們的手機搜索記錄,百度可知道人們現在的位置和要去的地方。所有的數據經過收集和匯總,就能變成有價值的東西了。
百度的全國遷徙圖
北京地區人們的通勤圖
大數據到底會如何進化?這是值得讓人深思的。原始的數據就是一些簡單的數值、記號等,通過大量的收集相關數據,并進而分類,原始的數據就變成對人們有用的信息了。再通過對信息進行整理、賦予內涵,發現其中的規律性,就變成一種有用的知識了。有用的知識能夠為為人們提供一種行動方案,這樣知識就成為知性的。由此,我們可見一條清晰的數據生存進化之路:“數據——信息——知識——知性”。如果說,以前,世界的原始動力是上帝,那么,21世紀,驅動世界運轉就是數據了。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25