解析大數據之要害-大數據不只是數據大

我發現身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數據和你有什么關系?估計很少能說出一二三來。究其原因，一是因為大家對新技術有著相同的原始渴求，至少知其然在聊天時不會顯得很“土鱉”;二是在工作和生活環境中真正能參與實踐大數據的案例實在太少了，所以大家沒有必要花時間去知其所以然。

我希望有些不一樣，所以對該如何去認識大數據進行了一番思索，包括查閱了資料，翻閱了最新的專業書籍，但我并不想把那些零散的資料碎片或不同理解論述簡單規整并堆積起來形成毫無價值的轉述或評論，我很真誠的希望進入事物探尋本質。

如果你說大數據就是數據大，或者侃侃而談4個V,也許很有深度的談到BI或預測的價值，又或者拿Google和Amazon舉例，技術流可能會聊起Hadoop和Cloud Computing,不管對錯，只是無法勾勒對大數據的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了?！苍S，“解構”是最好的方法。

　　怎樣解構大數據?

首先，我認為大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

其次，想要系統的認知大數據，必須要全面而細致的分解它，我著手從三個層面來展開：

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特征定義理解行業對大數據的整體描繪和定性;從對大數據價值的探討來深入解析大數據的珍貴所在;從對大數據的現在和未來去洞悉大數據的發展趨勢;從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術，技術是大數據價值體現的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數據的最終價值體現。我將分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

　　和大數據相關的理論

　　特征定義

最早提出大數據時代到來的是麥肯錫：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來?！?

業界(IBM 最早定義)將大數據的特征歸納為4個“V”(量Volume,多樣Variety,價值Value,速Velocity)，或者說特點有四個層面：

第一，數據體量巨大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);

第二，數據類型繁多。比如，網絡日志、視頻、圖片、地理位置信息等等。

第三，價值密度低，商業價值高。

第四，處理速度快。最后這一點也是和傳統的數據挖掘技術有著本質的不同。

其實這些V并不能真正說清楚大數據的所有特征，下面這張圖對大數據的一些相關特性做出了有效的說明。

古語云：三分技術，七分數據，得數據者得天下。先不論誰說的，但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代已經到來的時候要用大數據思維去發掘大數據的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數據二次利用價值，比如預測某地流感爆發的趨勢;Amazon如何利用用戶的購買和瀏覽歷史數據進行有針對性的書籍購買推薦，以此有效提升銷售量;Farecast如何利用過去十年所有的航線機票價格打折數據，來預測用戶購買機票的時機是否合適。

那么，什么是大數據思維?維克托·邁爾-舍恩伯格認為，

需要全部數據樣本而不是抽樣;

關注效率而不是精確度;

關注相關性而不是因果關系。

阿里巴巴的王堅對于大數據也有一些獨特的見解，比如，

“今天的數據不是大，真正有意思的是數據變得在線了，這個恰恰是互聯網的特點?！?

“非互聯網時期的產品，功能一定是它的價值，今天互聯網的產品，數據一定是它的價值?！?

“你千萬不要想著拿數據去改進一個業務，這不是大數據。你一定是去做了一件以前做不了的事情?！?

特別是最后一點，我是非常認同的，大數據的真正價值在于創造，在于填補無數個還未實現過的空白。

有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據并不在“大”,而在于“有用”.價值含量、挖掘成本比數量更為重要。

　　價值探討

大數據是什么?投資者眼里是金光閃閃的兩個字：資產。比如，Facebook上市時，評估機構評定的有效資產中大部分都是其社交網站上的數據。

如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”.

Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數據來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產品優惠卷。

Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯物并監控它，就可以預測未來。Target通過監測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數據的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數據，就可以分析出當前哪些道路正在堵車，并可以及時發布道路交通提醒;通過采集汽車的GPS位置數據，就可以分析城市的哪些區域停車較多，這也代表該區域有著較為活躍的人群，這些分析數據適合賣給廣告投放商。

不管大數據的核心價值是不是預測，但是基于大數據形成決策的模式已經為不少的企業帶來了盈利和聲譽。

　　從大數據的價值鏈條來分析，存在三種模式：

手握大數據，但是沒有利用好;比較典型的是金融機構，電信行業，政府機構等。

沒有數據，但是知道如何幫助有數據的人利用它;比較典型的是IT咨詢和服務企業，比如，埃森哲，IBM,Oracle等。

既有數據，又有大數據思維;比較典型的是Google,Amazon,Mastercard等。

　　未來在大數據領域最具有價值的是兩種事物：

擁有大數據思維的人，這種人可以將大數據的潛在價值轉化為實際利益;

還未有被大數據觸及過的業務領域。這些是還未被大數據挖掘的油井，金礦，是所謂的藍海。

Wal-Mart作為零售行業的巨頭，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發現雖不相關但很有價值的數據，在美國的颶風來臨季節，超市的蛋撻和抵御颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風物品銷售區域旁邊，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多。

還有一個有趣的例子，1948年遼沈戰役期間，司令員林彪要求每天要進行例常的“每日軍情匯報”,由值班參謀讀出下屬各個縱隊、師、團用電臺報告的當日戰況和繳獲情況。那幾乎是重復著千篇一律枯燥無味的數據：每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少，槍支、物資多少……有一天，參謀照例匯報當日的戰況，林彪突然打斷他：“剛才念的在胡家窩棚那個戰斗的繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰斗每天都有幾十起，不都是差不多一模一樣的枯燥數字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰役的勝利。