
知識正是大數據之“大”背后的那個“小_數據分析師
“大數據時代”無疑是目前最為流行的詞語之一,一大堆關于大數據的科普和專業的書如雨后春筍一般涌現出來,你無法拒絕它的誘惑,總想弄清楚它到底在說什么,總在擔心大數據會把我們帶到什么樣的一個不可預知的未來。然而,大數據只描述了數據的規模大,是一種對現在信息爆炸時代的表象認識,并沒有深入到信息時代發展的本質層面,因此,大家都在等待一個新的時代的出現。
這個時代就是在DIKW(Data-Information-Knowledge-Wisdom)概念中界定的K的時代,知識的時代。知識正是大數據之“大”背后的那個“小”。比如第谷測了一輩子的行星運動軌跡,記錄的數據汗牛塞屋,后來他的學生開普勒又花了將近一輩子的時間整理出了三大定律,這個大數據終于變得小了一點,到了牛頓時代,一個簡單的平方反比的萬有引力定律,就把所有一屋的大數據的內容全說透了。
雖然知識的概念出現很早,但到底什么是知識呢?在科學上要清晰的定義非常難,現在也做不到。但其中有一種解釋,我很贊同,即知識是信息之間的關聯。關聯代表著新物質和新性質的產生,而不是靜態的兩個物體機械地擺在一起。比如H原子和O原子關聯在一起,產生的不是2個原子物理上挨得很近這么簡單,而是產生了一種叫H2O的新物質,它擁有它的母體、它的前輩所沒有的液態流動的性質,因為有了這個物質,孕育了所有的生命,造就了地球這個生機盎然的大千世界。
在知識挖掘中常舉的啤酒和尿布的例子,講的就是通過關聯獲得知識的例子。啤酒與尿布”的故事產生于20世紀90年代的美國沃爾瑪超市中,沃爾瑪的超市管理人員分析銷售數據時發現了一個令人難于理解的現象:在某些特定的情況下,“啤酒”與“尿布”兩件看上去毫無關系的商品會經常出現在同一個購物籃中,這種獨特的銷售現象引起了管理人員的注意,經過后續調查發現,這種現象出現在年輕的父親身上。在美國有嬰兒的家庭中,一般是母親在家中照看嬰兒,年輕的父親前去超市購買尿布。父親在購買尿布的同時,往往會順便為自己購買啤酒,這樣就會出現啤酒與尿布這兩件看上去不相干的商品經常會出現在同一個購物籃的現象。沃爾瑪發現了這一獨特的現象,開始在賣場嘗試將啤酒與尿布擺放在相同的區域,讓年輕的父親可以同時找到這兩件商品,并很快地完成購物,這就是“啤酒與尿布”故事的由來。
啤酒和尿布放在一起,代表了一種精巧的知識結構,是一種高級的人類智力活動的結果。發現關聯就是發現知識,就是發現新物質、發現新性質,就是發現新的運營模式,就是發現人們未知的新世界,隨著關聯規模和深度的增加,也就擴大了人類認識世界和認識自己的能力,從而也就擴展了人類的生存能力和把握未來的能力。
大數據的根本目標就是要像挖掘萬有引力定律一樣,挖掘數據背后的規律,讓數據由大變小,從而為我所用,創造出更多的經濟、社會和科學價值。因此,我們認為知識時代才是抓住時代發展本質的描述,而所有技術層面的新生事物,都是實現這個時代目標的物質和技術基礎,比如搜索技術是信息時代的技術基礎,網絡是信息時代的物質基礎。在新的知識時代,大數據和相應的挖掘技術是技術基礎,而數據倉庫和高速網絡、智能終端等是物質基礎。知識工程是實現知識挖掘的系統工程,是突破人類認識能力的局限,從“大數據時代”走向“知識時代”的基礎之一。
所謂知識工程,本質上就是建立企業的基因工程,即構建企業“天生的”學習和適應能力。
首先,讓我們先從自然界看看基因的偉大之處。2012年11月14日凌晨,8歲的“那仁”登上Nature雜志官方網站的首頁頭條新聞。這頭來自蒙古國阿爾泰省自然保護區的雄性野駱駝,成為世界上首個向全球展示雙峰駝全基因組序列圖譜的野生駱駝。野駱駝是世界上惟一能靠喝鹽水生存的動物。它能在極其嚴酷的
環境中生存下來,正是由于其背后的遺傳秘密?!耙榜橊劚寂芷饋頃r速可達80公里,在遇到危險時,能連續奔跑兩三天。它們機警而膽怯,視覺、聽覺、嗅覺相當靈敏,順風時可以嗅到數公里甚至幾十公里外的氣味,判斷出很遠地方的水源。它們可以在遇到沙暴之前,隨時關閉鼻孔而不影響呼吸,來不及躲避就會平躺在地上避風。它們還會在風暴過后,用淚水沖洗沙塵以保護眼睛”。這就是這種“天生的適應能力”。
再來看另一個動物——狼。狼是生物系統中最有智慧的動物之一。CCTV曾報道,四川一位畫家收養了一只小狼,養到3個月大的時候要放歸草原,必須鍛煉它捕殺羊的能力,羊很高大根本不理會狼的挑釁,狼很快就發現了羊和羊脖子上的羊繩的關系,就咬著羊繩想把羊拉出來,無奈力小拉不動,人們就拿個牛頭把羊嚇了出來,狼很快就學會了這一點。只看了一次就知道了牛頭和羊的關系,真的是聰明絕倫,難怪狼群可以不被馴服卻照樣活了下來。在技術層面,狼的聰明就在于它能很快發現事物之間的關聯,并且充分利用這樣的關聯改變自己的行為,這是多么智慧的生靈,當然是一個有知識的行為。
建立企業生存和發展的根基,就是要建立一種適應環境的能力和學習能力,而員工只是表現這種企業所有員工共有的這種企業基因的一個載體。這樣,在環境相同的時候,所有員工的表現基本一致,實現了企業行為的穩定性和規范性,同時又具備了在變化環境下能發現事物之間關聯的知識發現的能力,由此建立企業穩定發展的基礎。這里的關鍵是,如何實現在企業擁有員工之前就先擁有能力,如何承載這個能力呢?只有一個辦法,這就是必須建立一個軟件平臺,把已有的對象、以及發現對象之間關聯的能力,都根植在這個軟件平臺上。首先是企業的內部知識的梳理,最后進化到整個web網絡,整個社會由此進入到知識時代。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025 年,數據如同數字時代的 DNA,編碼著人類社會的未來圖景,驅動著商業時代的運轉。從全球互聯網用戶每天產生的2.5億TB數據, ...
2025-05-27CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25