在當今時代大數據需要的是什么

為了實現大數據所勾畫出的美好愿景，你需要在數據層和基礎設施層等基礎架構中對數據進行抽象化的工作。

    在云上的大數據擁有跨越大量節點、集群和層的眾多潛在功能服務層，而這些節點、集群和層很容易變得不堪重負。為了應對這些問題。首先，你應該規劃一個全面的云數據虛擬化基礎設施。虛擬化云分析法是新時代中的大數據典范。作為一種集成方法，它能夠確保大數據的統一訪問、建模、部署、優化和管理成為一種異構資源。
    與任何虛擬化一樣，數據虛擬化是一種允許用戶訪問、管理和優化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統一的資源一樣。這使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化。
    與支持邏輯上統一的訪問、查詢、報告、預測分析，以及針對關系型、Hadoop、NoSQL等不同后端數據庫應用的任何“SQL-虛擬化”解決方法相同，數據虛擬化的核心是抽象層。當然，數據虛擬化可能會轉而依靠其他的基礎設施虛擬化層，例如存儲與服務器平臺。在某些情況下，數據虛擬化可能會在地理上和多云環境中進行擴張。
    在我們討論的眾多層中，虛擬化無疑是這些枯燥數據話題的一個縮影。但是如果你希望自己的大數據云平臺能夠解決以下業務需求，那么它們無疑是最基礎的。這些具體的業務需求是：
    ■基于彈性、靈活拓撲結構的先進分析型資源
    ■汲取源自任何來源、格式和方案的純消費性資源
    ■能夠留存、聚合、處理任何動靜結合信息的“延遲-靈敏”資源
    ■在價值鏈中擴展，在私有云和公有云中擴張的聯合資源
    ■能夠讓你通過現有工具和應用，調整、擴展和升級后端數據平臺的無縫互操作資源
    是的，這是一項艱巨的任務。毫無疑問，數據虛擬化和虛擬的基礎架構實踐起來比說起來困難的多。此外，部署、管理和優化的工作也需要花費大量的資金。
    基于云的大數據需要越來越復雜的虛擬化基礎設施。對于大部分數據專業人員而言，解決這一難題就如同天文學家試圖繪制出宇宙中的暗物質一樣困難。他們知道這項工作既重要，但又十分的乏味和煩瑣。實際上，大數據專業人員更喜歡從事Hadoop和NoSQL的研究，因為它們正在新的技術領域中閃爍著最耀眼的光芒。
    隨著大數據應范圍的不斷拓展，用戶未來幾乎必定要沿著虛擬化這條路前行?；旌洗髷祿齐y以處理的異質性將推動用戶選擇這一方向。在私有云中，大數據平臺融合需要一個虛擬化架構，以將新的方案與之前的投資相關聯起來。然而，融合將會阻止用戶持續的平臺現代化與遷移嘗試，妨礙用戶將創新和適合的平臺整合到云中，阻礙廠商的“產品-改良”循環。除非將所有的大數據方案都放到“通用的”公有云服務上，否則用戶在多種組合方案中需要虛擬化公有云、私有云和混合云架構的訪問。
    當然，要沿著“數據-虛擬化”路線走多遠，將取決于用戶業務需求和大數據環境的復雜性。此外，還取決于用戶對風險、復雜性和困難的承受程度。在未來，隨著分析模型、規則和大數據云上匯聚的信息日益復雜，平臺將成為虛擬化訪問、執行和管理的核心。在這一新領域內，MapReduce將成為關鍵的（但并不是唯一的）開發框架。此外，MapReduce還將成為針對內聯分析和交易計算的虛擬化架構的一部分。不過，目前這一虛擬化架構雖然涵蓋范圍更廣，但是大部分仍沒有被明確定義。
    迄今為止，還沒有人能夠對這些將云與大數據世界拼接在一起的層、界面和抽象化展開進一步概述，而這也是一項擺在我們面前的艱巨任務。