大數據應用過程中，三大難題未解

近年來，大數據這個詞成為互聯網領域關注度最高的詞匯，時至今日，大數據已經不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實際上春晚與兩會的數據都只能叫做小數據，它與真正的大數據還相差甚遠。即便如此，數據所產生的價值已經被人們所認知。

    就大數據來說，它的發展可以分成三個階段，第一個階段是組織內部的數據，這些數據通常都是結構化的數據，我們一般將這些數據進行分類、排序等操作，將相同類型的數據進行對比、分析、挖掘，總而言之基本上都是統計工作。到了第二階段，數據的范圍擴大到行業內，各種各樣的應用數據出現，數據量大規模增長，尤其是非結構化數據的出現。典型的像視頻、圖片這一類的數據，在這一階段的特點就是非結構化和結構化數據并存，且數據量巨大，要對這些數據進行分析是我們目前現階段所處在的狀態。
    第三階段則是未來大數據發展的理想化狀態，首先它一定是跨行業的，且數據的范圍是整個社會。通過對這些數據進行分析加以使用，將直接改變我們的生活方式，這也是現在很多企業所設想的未來交通、醫療、教育等領域的發展方向。
   大數據太大不敢用
    第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數據給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數據沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設了一些卡口設備，到了今天基本上大街小巷都能看到。
    這些設備每天所拍攝的視頻及照片產生的數據量是驚人的，僅照片每天就能產生2千萬張，而解決這些數據的存儲只是最基本的任務，我們更需要的是使用這些數據。例如對套牌車輛的檢查，對嫌疑車輛的監控，當你想要使用這些數據的時候，傳統的數據庫以及系統架構，放進這么龐大的數據，是根本跑不動的。這一問題導致很多企業對大數據望而卻步。
   大數據太難不會用
    說到大數據的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統中兩個最重要的東西：分布式存儲（HDFS）和分布式計算（Mapreduce）。這兩者解決了處理大數據面臨的計算和存儲問題，但更為重要的是，為開發大數據應用開辟了道路。
    Hadoop是目前解決大數據問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實施難度大，且復雜，如果不解決技術復雜性問題，Hadoop將被自己終結?！闭怯捎谶@樣的原因，Gray創辦了自己的公司——Continuuity，這家公司的目標就是在Hadoop和Hbase基礎上創建一個抽象層，屏蔽掉Hadoop底層技術的復雜性。由此可見想要用好大數據又是一大考驗。
   大數據太貴用不起
    Hadoop的特點就是讓你可以使用廉價的x86設備來完成大數據的業務，但事實上如果你真想要用它來完成某些商業任務你還得是個“土豪”。在國外那些使用大數據的成功案例里，亞馬遜曾給出過這樣一組數字，NASA需要為45天的數據存儲服務支付超過100萬美元。像Quantcast這樣的數字廣告公司，同樣也是花費了巨額的資金用在Hadoop技術上，來根據自己的需求定制系統。從上面兩個案例來看用于商業用途的大數據現階段還是很費錢的，隨著大數據軟件環境逐漸成熟，開發工具增多，價格在未來會逐漸降低。
    從上面羅列的這三點困難，其實并不是要給大數據潑冷水，而是想說大數據想要淘金并不簡單，首先在做大數據之前，好好盤點一下自己擁有的資源，不僅僅是數據資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發揮你現有資源最大價值的項目。如果你需要幫手，應先考慮商業顧問，再考慮技術人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當你有了這些之后，選擇更靈活且可擴展的工具，為以后的擴充打好基礎。更重要的是——從小規模做起。
    評論：
    隨著大數據應用領域的擴大，相關難題也等待解決，相信在大數據的未來發展中，以上三大難題會逐漸解決，也許不遠的將來，大數據會成為企業必備技能。但那一天還遠遠未曾到來。當那些供應商花了上百萬美元布局大數據分析時，你可以放心，你并沒有錯過什么。而且你的錢花到了更需要的地方，獲得了更多的效率和價值。