你真的懂得大數據嗎

我們總能聽到大數據這個詞，但是你真的了解大數據嗎？也許有人會回答“是”，但是真正能夠做到了解的人卻屈指可數。大數據究竟有哪些深奧的東西令人難以理解呢？

   大數據之所以深奧難懂，唯一一點是因為：我們作為一個技術群體，并沒有完全準備好去利用和管理大數據。也許你會說：“我們準備好了?！钡聦嵣衔覀儧]有，原因如下：世界上百分之九十的數據都是在過去的兩年里產生的，這使我們有些措手不及。每天都有大量的新數據從社交網站、工業傳感器、衛星、手機、照片、文件以及其它地方產生。我們的數據以每天多于250兆字節的速度增長，或者說是多于20億千兆字節。這些數據必須有地方可以儲存，哪怕只是暫時儲存，然后再從數據庫和應用中發送出去以供分析。由于積累了太多的新數據，以至于對這些數據的存儲、管理、以及分析的工作量是極大的。這就是我們很少有人真正了解大數據的原因。
    這些海量數據使得我們能聽到很多關于大數據的內容，而要弄明白它卻很難。正如我之前所說，數據同我們的存儲、搜索、分析、組織、歸檔和篩選能力息息相關，而其現在的情形是我們所不能完全掌控的。
    我們都知道數據是如何產生的，也大體知道我們創造某些數據的原因以及要如何處理這些數據，但我們所不知道的是如何處理如此大量的數據。
    事實上，我們甚至不確定如何去處理產生于大數據的元數據（metadata）。
    在這里說明一下，你最近可能聽說過很多關于元數據的事情，是關于美國國家安全局（NSA）所獲取和分析的私人數據的。元數據就是有關數據的數據，這是個有點奇怪的概念。簡單來說，元數據是對你的數據的一種描述，你可能還沒意識到，你每時每刻都在使用元數據。比如，當你拍了一張數碼照片時，元數據描述的就是關于這張照片的尺寸、拍攝日期、存儲位置、文件大小、像素等內容。
    其他類型的元數據還有：
    創建該數據的方式
    該數據的目的
    創建日期和時間
    該數據的創建者
    該數據在一個計算機網絡里的創建位置
    所使用的標準
    如果要檢查一張圖片的元數據，你只需右鍵單擊該圖片文件，選擇“屬性”，然后再選擇“詳細”選項卡。
    你可以看到，元數據雖然不是數據本身，卻也占用存儲空間，它是有關數據的數據。所以我們可以把大數據和大元數據放在一起來談。當你認識到有比數據本身更多的數據存在之后，你應該就能對我們的數據高速增長的原因有更為深刻的理解了。
    需要指出的是，元數據不是大數據龐大的原因，而只是使大數據變得更大。
    在了解了數據和元數據之后，我們可以研究大數據究竟是什么了。
   大數據就是大量的數據，它是比我們以往所處理的數據還要多的數據，并且來源也更為廣泛，它包含元數據。它多到難以想象、難以存儲、難以分析，這也是大數據的主要問題所在。
    你仍然會有疑問：是什么讓大數據難以理解？
    正如我前面所說，我們從不同的數據源創建數據：手機、衛星、電子傳感器、文本信息、日志文件等等。來源如此之廣的數據是非常復雜的。
    更深一層解釋，如果你的全部數據都是圖片，那么你的數據就很簡單。當你擁有不同種類的數據以及不同的數據源時，你的數據的復雜程度就增加了。假如你經營著一家物流公司，比如UPS快遞，那么你就會有來自很多不同數據源的數據。我們僅從其中三點來看數據的復雜程度：雇員、貨車和包裹。當然，他們實際上的數據遠遠復雜得多，我們只是選出比較典型的來舉例。
    貨車的數據包括貨車位置（GPS定位），燃油消耗量，維修記錄，購買價格，保險記錄，送貨量，司機姓名等等?，F在考慮一下每個領域所涉及的所有不同的數據點（data points）。維修記錄又包含著油量變化、輪胎、蓄電池、每個單獨的可換零件、損壞、里程以及更多的內容。再用這些數據點乘以UPS現在所管理的數以萬計的貨車數量——96394輛。
    再加上你能想象得到的所有雇員信息，包括貨車司機、裝卸工、維修人員、雇員的醫療記錄、空車定位、設備定位、統一定位以及其它有關雇員的數據點，一共有397100名雇員。
    還要加上第三個數據源的信息：包裹重量、原產地、保險、目的地、運輸方式、尺寸、收貨信息，以及出發地和目的地之間的中轉地，每天有1630萬包裹。
    你可以看到數據點是如何隨著UPS處理的數據量的增加而迅速增加的。UPS收集了很多有趣的不同數據點，那張單子上的統計數據并不是原始數據，而是經過分析之后的數據。那么可以想象數據庫服務器的數量、存儲量以及為生成那頁單子而要耗費的精力有多少。
    這就是大數據。你必須收集、存儲、分析、組織、篩選和利用數據。就是從收集到篩選和利用的這個過程，是大數據不被人們所熟知的東西。大數據是復雜且難以管理的。
    我們對大數據欠缺了解的地方正是對其的管理部分。只有極少數人知道如何管理如此龐大而復雜的數據。大部分企業已發展起了自己的拼湊解決方案，即通常每個部門試著用不同的形式管理自己的數據。其結果就是，不僅這些企業擁有大量的不同數據，而且數據用不同的數據技術存儲在不同的位置，大數據變成了大混亂。
    現在你應該對大數據的內涵、出處、龐大的原因以及所存在的問題有了更好的理解。
    為什么你認為大數據難以理解，或者為什么你認為它好理解？你可以將你的看法通過留言評論回復給我們。
    說明一下，我用UPS快遞舉例是因為我知道UPS能產生大量的數據，目前它管理著超過16萬兆字節的數據量。