大數據:為企業植入“智商”_數據分析師

傳統的數據分析，是通過提出假設然后獲得相應數據，最后通過數據分析來驗證假設。而大數據恰恰相反，它是從收集的海量數據中，通過算法將這些來自不同渠道、格式的數據進行直接分析，從中尋找到數據之間的相關性。簡單而言，大數據更偏重于發現，以及猜測、印證的循環逼近過程。
　　一方面，大數據有助于人們發現事物的個體特性，并針對每一個個體提供差異化的解決方案；另一方面，大數據研究也能幫助人們從大量個體的差異變化中，揭示其中存在的難以察覺的規律。
　　“打個比方，當一輛高鐵在行駛過程中，大數據技術是通過各個外部渠道的實時數據來分析高鐵的安全性。在分析的同時，火車仍在行駛，不會停下?！瘪R克·斯佩爾曼表示，“而傳統的分析方法，是一定要等出現事故后才進行追溯分析?！?/span>
　　馬克同時坦言，駕馭大數據的能力并非那么容易獲得。很多時候，傳統的商業智能系統與分析軟件，在面對視頻、圖片、文字等非結構化數據時，往往束手無策，缺少有效的分析工具和模型。
　　“一直以來，大數據技術的難點并非在數據的收集上，而是如何利用這些數據?！瘪R克稱，“企業必須去蕪存菁，將數據轉化為正確的商業決策，才能與競爭對手形成差異化?！?/span>
　　就這一點來說，全球最大的拍賣網站eBay的做法頗為典型。譬如，一位年輕的女性早上10點在星巴克瀏覽eBay網站，eBay應該推送給她什么樣的商品呢？事實上，eBay此前已經研究了各種不同情形下的不同購物模式，它可以從用戶以往的瀏覽記錄里推斷她想要什么樣的商品，也可以從設定的成百上千種情景模型中計算出用戶可能的需求；或是對照另一位有著相似特點的女性用戶，看她當時買過什么樣的商品，從而判斷出這位用戶潛在的需求。在綜合各種考量因素后，eBay的后臺往往在短短幾秒內將商品頁面推送給用戶。
　　變革與挑戰
　　通常情況下，獲得的信息越多越有利于企業做出明智的決策。但很多時候，數據量過大、數據模型欠缺，會讓分析的結果與真實狀況大相徑庭。就eBay而言，其基于數據分析后“猜錯”的情況非常非常多。
　　據專家測算，數據分析師的50%~80%的時間都花在了處理數據上。即便如此，數據搜集的偏差、誤差積累疊加、假關聯性、數據外生性等問題，紛紛“污染”著分析運算的結果。
　　在此基礎上，全球數據目前以每兩年翻一番的速度遞增，2007年時，全球傳感器獲取的數據就超過了存儲總量。大數據的存儲成本很高，而要獲取一些新數據，就必須丟掉舊數據。這同樣不利于數據的分析與研究。
　　此外，來自各種傳感器、文檔、網頁、數據庫的數據，大多是不同的格式。而這些數據要被軟件理解和分析，必須被轉換為統一格式。
　　將各類數據進行格式統一，又是一個嚴峻的挑戰。數據和人類語言一樣都具有模糊性，有些數據人們知道是什么意思，計算機卻不能識別。于是，很多時候，人們不得不一次又一次地重復數據轉化的工作。
　　相比于大數據帶來的技術挑戰，更大的難題來自于決策的變化。在信息有限、獲取成本高昂且沒有被數字化的時代，企業內作重大決策的人往往都是組織的最高層，或是外部擁有專業技能和顯赫履歷的智囊團。時至今日，高管的決策仍然更多地依賴個人經驗和直覺，而不是基于數據。但到了大數據時代，數據分析會直接影響組織怎樣做決策、誰來做決策，從而減弱個人的共識性。一個明顯例子是，在媒體業，《赫芬頓郵報》和Gawker網站上傳播的新聞通常取決于數據，而不再取決于編輯和記者的新聞敏感度。數據比有經驗的記者更能揭示出哪些是符合大眾口味的新聞。
　　不過，大多數組織都無法輕松地完成這一轉變。在9月10日舉辦的達沃斯論壇上，普華永道發布報告稱，調查顯示僅有三分之一高管們表示，他們在上一次制定重大決策時采用了數據和分析。雖然有58%的高管們在決策制定上，還是依據直覺、經驗、建議以及在企業中的其他經驗，但43%的高管們承認，那些擁有高度數據驅動的企業，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優先考慮對高質量數據分析的投入，以更好的制定決策。
　　“應該說，大數據并不會完全取代個體做決策，即便取代，那也有很長的路要走?！瘪R克指出，“但大數據會改變人們做決策的內容和方向，會對管理者的知識結構和分析能力提出更高要求?！?/span>

變革與挑戰
　　通常情況下，獲得的信息越多越有利于企業做出明智的決策。但很多時候，數據量過大、數據模型欠缺，會讓分析的結果與真實狀況大相徑庭。就eBay而言，其基于數據分析后“猜錯”的情況非常非常多。
　　據專家測算，數據分析師的50%~80%的時間都花在了處理數據上。即便如此，數據搜集的偏差、誤差積累疊加、假關聯性、數據外生性等問題，紛紛“污染”著分析運算的結果。
　　在此基礎上，全球數據目前以每兩年翻一番的速度遞增，2007年時，全球傳感器獲取的數據就超過了存儲總量。大數據的存儲成本很高，而要獲取一些新數據，就必須丟掉舊數據。這同樣不利于數據的分析與研究。
　　此外，來自各種傳感器、文檔、網頁、數據庫的數據，大多是不同的格式。而這些數據要被軟件理解和分析，必須被轉換為統一格式。
　　將各類數據進行格式統一，又是一個嚴峻的挑戰。數據和人類語言一樣都具有模糊性，有些數據人們知道是什么意思，計算機卻不能識別。于是，很多時候，人們不得不一次又一次地重復數據轉化的工作。
　　相比于大數據帶來的技術挑戰，更大的難題來自于決策的變化。在信息有限、獲取成本高昂且沒有被數字化的時代，企業內作重大決策的人往往都是組織的最高層，或是外部擁有專業技能和顯赫履歷的智囊團。時至今日，高管的決策仍然更多地依賴個人經驗和直覺，而不是基于數據。但到了大數據時代，數據分析會直接影響組織怎樣做決策、誰來做決策，從而減弱個人的共識性。一個明顯例子是，在媒體業，《赫芬頓郵報》和Gawker網站上傳播的新聞通常取決于數據，而不再取決于編輯和記者的新聞敏感度。數據比有經驗的記者更能揭示出哪些是符合大眾口味的新聞。
　　不過，大多數組織都無法輕松地完成這一轉變。在9月10日舉辦的達沃斯論壇上，普華永道發布報告稱，調查顯示僅有三分之一高管們表示，他們在上一次制定重大決策時采用了數據和分析。雖然有58%的高管們在決策制定上，還是依據直覺、經驗、建議以及在企業中的其他經驗，但43%的高管們承認，那些擁有高度數據驅動的企業，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優先考慮對高質量數據分析的投入，以更好的制定決策。
　　“應該說，大數據并不會完全取代個體做決策，即便取代，那也有很長的路要走?！瘪R克指出，“但大數據會改變人們做決策的內容和方向，會對管理者的知識結構和分析能力提出更高要求?！?/span>