怎樣才算大數據_數據分析師

從谷歌趨勢可漫談大數據之一：怎樣才算大數據以看到，大數據作為一個buzzword，是從2011年聲名鵲起的。對這波趨勢，中國跟進并不慢，旋即2012年被稱作中國的大數據元年。其中兩本書功不可沒：前有涂子沛先生的《大數據》，從美國政府的數據信仰、政策和實踐娓娓道來，讓中國政壇和知識精英接受了一次思維洗禮，汪洋副總理離任廣東前一系列開風氣之先的大數據舉措，當屬此書之功；年末維克托.邁爾.舍恩伯格先生的《大數據時代》，則是系統論述大數據理念的奠基之作。如果說前者著力于發蒙—大數據可以做什么，后者則注重解惑—大數據該怎么做。

中國做事大氣魄。原著為英文的《大數據時代》美國讀者尚在翹首以盼，中文版在2012年末就擺上了國內讀者的書架，原來是乘舍恩伯格先生參加云世界大會不失時機宣傳。在年末年初的喧鬧中，大數據產業園、大數據日、大數據專委會、大數據專業、大數據實驗室和各種大數據峰會接踵而來。物聯網和大數據、云計算和大數據彼此抱團取暖，來抵消決策者對層出不窮新概念的審美疲勞。其實，大數據還只是在民間熱。相比起物聯網和云計算，它在國家最高層面上獲得的關注和實質支持還頗有不如，甚至美國政府都走在了前面：后者在2012年3月發布《大數據研究和發展倡議》，6個部門投資超過兩億美金推動相關研究。兩億美金對于工信部和科技部來說是毛毛雨，按兵不動是什么原因？

根據在下與工信部官員和智庫的一些交流，我感覺決策者還存在很多疑惑：大數據究竟是什么新玩意兒？與以前的數據庫、數據倉庫、數據挖掘和商業智能有什么區別？市場有多大？中國應該重點發展什么？競爭優勢和劣勢在哪里？每每官員們在臺上指點江山、大談大數據戰略云云（據在下目測，基本內容都來自2011年麥肯錫的《大數據：創新、競爭和生產力的下一個前沿》和2012年達沃斯的《大數據，大影響：全球發展的新可能》），臺下一見專家就虛心請教大數據新在什么地方。

在下不揣淺陋，打算把對大數據的認識寫下來，對大數據做一個深度的、非主流甚至是另類的解讀。

當然從基本概念說起。大數據4個V：Volume（體量大），Velocity（快速化），Variety（類型雜），Value（價值大）。關于前3個V，很多人以訛傳訛說是IBM首創的，其實是METAGroup（現為Gartner的一部分）的一個分析師Doug Laney早在2001年提出的（這位老兄專門寫了一個博文吐槽他人冒功）。當然，IBM也不是全無貢獻，它去掉了Value，加上Veracity（真實性），也算是自成一派。而其它公司只能暗恨字典里V字頭的單詞太少。

今天就從體量大說起

大數據有多大？—業界巨擘自我實現的預言？

IDC對于每年創建和復制的信息之體量做了預測：2011年1.8ZB（ZB有多大，可以戳這里），2012年2.8ZB，按照每兩年翻一番（摩爾定律是一切類似規律的濫觴）的速度，2020年達到40ZB。這個數據怎么算出來的？IDC秘而不宣。這個研究是在EMC贊助下的，EMC笑而不語。如果說對靜態數據（data at rest）體量的預測有助于存儲的銷售，動態數據（data in motion）的體量無疑跟網絡需求綁在一起。于是Cisco一個類似的預測說道：2016年數據移動的總量達到1.3ZB。其實所有這些數據加起來都不如谷歌Eric Schmidt的說法有感染力：從人類文明曙光到2003年數以萬計的時間長河里人類一共產生了5EB（天知道他怎么算出來的），而到2010年每兩天人類就能產生5EB的數據（這個有可能是從IDC的數據里推知的）。

這是不是業界巨擘們自我實現的預言？我覺得是?？死锼?安德森2008年在《連線》做了個專題“拍字節時代（The Petabyte Age）”，顯然作為數字時代預言家的老安膽子不夠大。

數據總量的增長主要歸功于非結構化數據的增長。廣義的非結構化數據也包括了半結構化和多結構化數據，目前普遍被認為占到總量的85%以上，而且增速比結構化數據快得多（有說法是快10-50倍）。低信息密度的非結構化數據是大數據的一大挑戰，以后在Variety這一專題中會細細闡述。挑戰就是機會，業界巨擘們創造了很多新的概念來迎接非結構化數據，NoSQL數據庫是其中最亮麗的一個。對此，數據庫界的老法師Mike Stonebraker對此耿耿于懷，不惜力推“血統”更純正的NewSQL數據庫；Sybase的CTO Irfan Khan甚至說大數據（這個新概念）根本就是個大謊言，聲稱他們的數據倉庫工具早就能分析包括非結構化數據在內的大數據。

這類總量數據的預測，對于存儲和網絡企業的投資者來說，無疑能提升信心，但對其他人來說，沒有太大意義。他們更關心的是個體行業、企業甚至個人數據的狀況。

麥肯錫對大數據的定義就是從個體數據集的大體量入手的：大數據是指那些很大的數據集，大到傳統的數據庫軟件工具已經無法采集、存儲、管理和分析。傳統數據庫有效工作的數據大小一般來說在10-100TB，因此10-100TB通常成為大數據的門檻。無獨有偶，IDC在給大數據做定義時也把閾值設在100TB（它同時也給出了velocity和variety的量化指標，以后再表）。其實這種方法未必科學，對于非結構化數據的存儲來說，本來就跟數據庫無關，而且傳統文件系統能夠處理的數據量往往受限于元數據而非原始數據大小，因此能處理的上限要比數據庫要高。不管怎樣，有一個簡單明晰的數值來指導企業大數據的判斷，總是好事。