如何選擇大數據分析項目技術

"大數據"已經成為商業智能（BI）、分析和數據管理市場領域中討論度最高的話題之一，當然也是最熱門的流行語之一。越來越多的企業開始關注BI和分析供應商，希望可以解決大數據環境中的業務問題。不幸的是，要在大數據中獲得可見性是說起來容易做起來難。而且，隨著供應商不斷攻破大數據分析項目的各種難題，投放到市場的產品種類越來越繁多，企業要想選擇最能滿足他們需求的一款產品也相當不易。
　　那么，到底什么才是真正的大數據呢？最近，IT電子雜志eWeek的一篇報道對大數據做了如下定義（其中部分參考了Gartner公司對這一提法的定義）："大數據指結構化與非結構化數據跨網絡傳輸到處理器和存儲設備的數量、種類和速度，以及這些數據轉化為企業業務建議的過程。"
　　這樣說來大數據就等于數據管理和數據分析，漏掉了關于大數據所面臨的業務挑戰中很重要的一個方面--復雜度。例如，大數據部署經常涉及到各方面信息，包括來自社交媒體網絡、電子郵件、傳感器、Web活動日志以及其它數據源的信息等，這些數據很可能與傳統的數據倉庫系統不兼容。
　　在許多情況下，所有分離的數據都需要整合，以便在更廣泛的層面上產生影響。這可能對業務規則、表連接和大數據分析系統的其它組件關系重大。在考慮存儲和查詢管理的時候，大數據由于其復雜度，與傳統數據完全不同；正因為如此，分析數據庫和數據分析軟件供應商不得不加快腳步幫助公司處理大數據問題。
　　理解大數據是評估技術需求和實施大數據分析規劃的第一步，然后根據日益龐大和多樣化的數據集，理解市場、理解企業在實現商業價值與發揮競爭優勢中所遇到的阻礙因素。
　　大數據分析項目的重大議程
　　當然，許多企業一直擁有大數據集。但是現在，越來越多的企業存儲的信息量就算不是PB級，起碼也有TB量級。此外，他們希望每天能分析幾次關鍵數據，甚至是實時分析；而傳統BI流程對歷史數據進行分析的頻率是以周或月為單位的。越來越多復雜查詢的處理帶來了各種不同的數據集，其中有可能包含來自企業資源計劃（ERP）系統和客戶關系管理（CRM）系統交易數據、社交媒介和地理空間數據，還有內部文檔和其它格式信息等等。越來越多的公司也會想給企業客戶提供自助服務的BI功能，讓對分析結果的理解變得容易一些。[page]
　　所有這一切都涉及到大數據分析戰略，而且技術供應商處理這些需求的方式是多種多樣的。許多數據庫和數據倉庫供應商都在關注及時處理大量復雜數據的能力。有的用列式數據存儲來實現更快速的查詢，有的提供內建的查詢優化器，有的增加對Hadoop和MapReduce這類開源技術的支持功能。
　　內存分析工具可能對分析處理速度的提升有所幫助，因為它能減少磁盤數據轉換的需求；而數據虛擬化軟件和其它實時數據集成技術可對運行中不同數據源的信息進行收集。對于垂直市場而言，現成的分析應用程序都是專門為其定制的，因為諸如電信、金融服務和網絡游戲這些行業都必須處理大數據。當公司管理人員和業務經理需要查看大數據分析查詢結果時，數據可視化工具可以簡化其流程。
　　在數據和分析需求方面符合以上分類描述的企業，在制定實施方案、對大數據基礎設施進行選型之前，需要考慮以下問題：
　　數據及時性（并不是所有數據庫都支持實時數據可用性）
　　各種數據源需要與數據關聯性和業務規則復雜度進行鏈接，以獲得一個包含企業績效、銷售機會、客戶行為、風險因素和其它業務指標的全面視圖。
　　由于分析的需要，歷史數據的數量也需考慮在內。如果我們需要五年的數據，而一個數據源只包含兩年的信息，那么該怎么辦呢？
　　哪些技術供應商在業內具有大數據分析方面的經驗？有沒有他們的業績記錄？
　　在企業內部，不同數據入口的負責人是誰？他們在大數據分析策略中分別扮演什么角色？
　　這些因素并不能從根本上影響需求的規劃，但是它們可以幫助企業部署大數據分析系統、選擇最為合適的技術。