
搶占大數據源頭
在信息化的過程中,產生了結構化、半結構化和非結構化的數據,這種用電子化數據記錄、傳輸和表示信息的方式是“智”。當這些數據達到一定的量級,數據的魅力才會顯現,可以發揮出“慧”的優勢,我們簡稱這種有價值的數據為大數據。由于人類社會財富的60%是近30年內創造的,90%的數據是近5年內記錄的,大數據隨著時代的發展越來越引人關注。它已經被運用到很多方面:社會管理、商業智能、軍事偵察,醫療診斷等。
大數據在被獲取之后,一般會被索引分類。儲存在服務器的數據經過挖據、分析和處理,數據才有大作用。這個過程最為關鍵的是數據源,誰掌握了數據源頭誰將掌握未來(但愿不是美國政府的秘密情報監視機構)。
1 直接的大數據源頭——大自然
克強指數是一項用于評估中國GDP增長量的經濟指標,它包含三個基本要素:工業用電量新增、鐵路貨運量新增和銀行中長期貸款新增。這三個數據是屬于人類社會源頭的,可以通過統計的方法得到數據。但是,我們可以通過監測空氣中二氧化碳等溫室氣體的含量,來反映工業用電量新增和鐵路貨運量,甚至可以直接利用溫室氣體的含量變化計算經濟增長率。這就需要在不同的樣本地點部署測量節點,由傳感網絡傳遞數據到處理中心,同時考慮其他數據的影響,綜合歷史數據,預算經濟指標。
而測量節點需要總體規劃,共用基礎設施,可以同時測量和傳輸其他數據:風速、溫度、降雨量、濕度、PM2.5、氧氣含量,環流數據、地殼數據、森林覆蓋率和動物數量、動物遷徙路徑等數據。這些數據可能是數字,可能是文本、圖片、音頻、視頻等。未來的部署模式類似現在的電信運營商,手機是節點,基站是小型處理中心。只不過數據源由人變成了大自然的狀態、植物和動物。
這就是大自然的物聯網。自然世界每天有大量信息產生,如果將這些信息數據化,通過云計算模式加工處理,可以幫助人們做出更好的決策、預測未知的事情。說不定,亞馬孫河流域熱帶雨林中的蝴蝶飛行速度,和太陽表面溫度息息相關。只不過人們尚未發現這種聯系,已知曉的聯系是烏云和下雨。
2 廣泛的大數據源頭——人類社會
香山衡器集團有這么一個夢想:在傳統的體重秤和脂肪秤的基礎上,用廚房秤自動識別食材種類(視覺搜索),記錄重量;同時,通過便攜式一體化的溫度計、血氧儀、血壓計、血糖儀、心率計等穿戴設備測量并記錄身體顯性健康數據,智慧地提供有關膳食結構、睡眠、心理和運動等健康解決方案。
想象一下,如果加上醫院測量的隱性健康和診斷數據(扁桃體發炎、肝病、遺傳病等),那么每個人完全可以擁有一個伴隨一生的健康數據庫,記錄身體的各項指標。從最初的外界風寒或者食物的影響,到身體不適的參數變化,再到后來康復的過程,大量數據都會被記錄下來。如果人群樣本足夠,運用大數據技術,可以分析出病理。那么,有人懷孕時,可穿戴設備能通過脈搏監測功能,提前預知并提醒,老中醫的經驗將被數據化;大數據處理中心能夠提供健康解決方案,讓人遠離亞健康狀態,更不用說生病了。
能夠獲取這些數據變得尤為重要,這是提供智慧的健康解決方案的基礎。這些數據不僅有商業價值,還有社會價值和歷史價值,后人將知道我們的膳食結構、生活習慣、身體指標等數據。
3大數據源頭——意義非凡
然而,不僅廚房秤可以獲得有關食材的數據, Google Glass
2.0或許也能識別并記錄即將入口食物的數據。數據的源頭是多源的,電影票房可以用電影院的座位傳感器監測上座率,得到準確的數字。谷歌也能根據搜索量預測電影票房,準確率達94%。這就需要認識并挖掘大數據的價值,不能挖一口大數據源頭的井,就把自己的數據井挖大,發現其中的價值。Linkedin發現雷曼兄弟的來訪者忽然多了起來,就可以預見雷曼兄弟的倒閉。
在有形產品和無形產品(服務)的基礎上,大數據源的價值將凸顯。搜索引擎、媒體監測、點評、比價等互聯網業務都是基于大量數據的,這些公司將分散凌亂的“小數據”集中起來,形成大數據,挖掘其中的價值。像Facebook、Twitter這類產品自身產生了大量數據,自然的占領了有關個人動態和社交的大數據源頭,這些數據可以用作預測股市、選舉結果、賽事比分等,這就是開放平臺的作用,允許進行復雜的數據交互。無論是新浪微博開放平臺,還是淘寶開放平臺,數據是它們的核心競爭力。
這些掌握原始數據源頭、分發數據的公司將炙手可熱,一些自然界和人類社會尚未發現價值和挖掘的數據暗示著新的商業機會。整個大數據利用的階段中,存儲處理層是技術密集型的,但是,如果喪失了基礎源頭層,巧婦難為無米之炊。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25