數據大未必是大數據 三談大數據時代_數據分析師

前不久寫了一篇《迎接大數據時代》的文章，發表后頗有反響。一些朋友找我去開這方面的會，一些媒體采訪發這方面的文章，一些資本想找這方面的項目投入。這可有點似曾相識燕歸來的感覺了。當年寫過關于WEB2.0革命，寫過網絡平臺，寫過開放，業內和社會上也都有過類似反應，想搭順風車，混吃混喝的大有人在。為了避免以往悲劇的產生，減少魚龍混雜，以假亂真的現象，只好多寫幾篇這方面的感想，權作免責條款吧。

　　極而言之，如果全世界網民的網絡行為記錄都能緊密整合在一起，那當然稱得起大數據這個名稱。反之，如果只有一個網民的一條孤零零網絡記錄，那當然撐不起大數據這個概念。問題在于如何在這兩個極端之間，找到一個劃分大數據與否的區分點，或者找到一組指標，能夠具體衡量數據量從量變到質變的相對標準。這無論在學術研究上或是在商業實戰上都很重要。試想若是某個公司自認為自己網絡服務產生的數據量很大，覺得可以自稱大數據公司了。于是說服董事會和投資者加大這方面的投入，購買大批專用設備和第三方專業服務，組建這方面的團隊。經過一段時間的實踐，發現投入產出不成比例，建立在大數據基礎上的商業模式和產品服務研發不能得到理想的回報，那豈不是個悲??？

　　以我的觀察和實踐經驗，網絡業中一個公司是否稱得起擁有大數據至少要從三個維度考量：

　　數據規模----所謂大數據最基本的要求當然是數據規模大，但很難給出一個絕對的數字標準來確定大小，而只能用一些模糊的感覺來相對比較。例如，一個公司在年度預算中有了專門的，顯著的數據存儲和分析預算（例如，總預算的3-5%），有了獨立的數據處理和分析部門，有了比較完整的數據存儲，安全和保密政策與管理流程，有了高度依賴數據分析結果的商業模式，那么，可以說這個公司面臨著利用大數據的機會或挑戰了。

　　數據結構----數據量只是反映數據性質的一個指標，也許還不是最重要的指標。一天產生一百萬個T數據的公司也許算不上大數據公司，而另一個一天只產生一萬個T數據的公司也許反而是個大數據公司，其奧妙在于數據結構的復雜性。例如，A公司擁有一億用戶，但用戶在A公司網站上只干一件事或一類事，比如獲取新聞資訊，買買東西，或者玩玩游戲。那么由此產生的數據量雖然不小，但結構簡單，重復性高，分析起來很容易，無非就是根據用戶背景和使用習慣分分組，歸歸類，簡單數據挖掘基本功足夠，扯什么大數據就有點故弄玄虛了。B公司只有一千萬用戶，卻是個開放平臺，用戶在此可以干互聯網能夠支持的所有事情，網絡行為又可分為個人，群體，組織等層次，那么這個數據的結構就夠復雜，能夠支持深度挖掘和復雜建模，因而就可以算作大數據。

　　數據關聯度----網絡業一個常見現象就是隨著數據量的增加，用戶行為所產生的數據間的關系越來越不清晰，越來越難以捉摸，越來越相互孤立，也就是所謂的數據碎片化。這種碎片化主要來自兩個方面：一是網站結構碎片化，邏輯混亂化，各種產品與服務之間相互孤立化，因而導致數據之間關系斷裂，關聯度很低。例如，明明是同一個用戶在一個網站上使用了十種不同的產品和服務，但由于其中五種無需注冊使用，其他五種又需要分別注冊使用，結果這十種網絡行為的數據無法整合在一起，或者需要通過種種技術手段和工具進行高成本的數據整合，以至于入不敷出。這也就減少了數據的含金量，降低了數據的可挖掘度，使得無論數據量如何大，結構如何復雜，也形成不了大數據。反之，如果一個WEB2.0時代的開放平臺，架構清晰，邏輯分明，用戶與用戶，用戶與用戶行為，行為與行為之間都具有確定的關聯性，那么這樣的數據就具有極高的含金量，極高的分析挖掘價值，也就可以形成大數據。

　　所以，簡而言之，大數據與否取決于數據規模，結構復雜性和關聯性，簡單地說某個公司的數據量大并不等于說這個公司具備擁有和利用大數據的前景。例如，直到google+誕生前，谷歌就不能聲稱自己是個大數據公司，因為它的海量搜索數據雖然規模龐大，但結構簡單。盡管聽說它的搜索算法已經囊括了六萬多個變量，成千上萬的數學和統計學模型，上千的博士和工程師參與分析，但在數據挖掘深度，搜索結果個人化，搜索結果與廣告之間的相關度上進展有限，只有改良，沒有突破。更嚴重的是，谷歌數百個產品和服務之間相互關聯度極低，各干各的，無數數據庫互不相干。各個部門之間以鄰為壑，互不配合，更不整合。所以，面對以FACEBOOK和蘋果為代表的WEB2.0時代以及由此產生的大數據戰略機會，谷歌若干年來束手無策，只能靠不斷擴展產品線對付。如果直到兩年前谷歌還算不上大數據公司，那些自認為自己有點數據，或者會點加減乘除，或者以為掌握一些基本的數據庫技術和KNOWHOW就可以招搖過市，到網絡業和資本界呼風喚雨，是不是有點不知深淺，過于幼稚了呢？