大數據基礎架構發展需考慮的重要因素

隨著IT行業持續地灌輸廉價存儲的優勢，企業較以往擁有者更多的數據，那么在評估大數據基礎架構的過程中需要深入地調查哪些因素。本篇涉及到了在容量、延遲、訪問性、安全性和成本這些重要因素的評估。
   大數據發展的驅動因素
    除了存儲比以往更多的數據，我們所面臨的數據種類也變得更加繁雜。這些數據源包括互聯網事務交易、社交網絡的活動、自動化傳感器、移動設備以及科研儀器等。除了靜態的數據增長方面，事務交易也會保持一個固定的數據“增長速度”。例如飛速增長的社交信息所產生的大量交易事務和記錄。不過現有的不斷擴大數據集無法確保能夠為業務搜索出有價值的信息。
   當今的信息是一項重要的生產因素
    數據業已成為了一種生產資料，就如何資本、勞動力和原始材料那樣，而且也不限于某一行業內的特定應用。企業中所有部門都旨在整合比較越來越多的數據集合，致力于降低成本、提升品質、增強生產能力以及開發新產品。舉例來說，對于現場產品的直接數據分析有助于提升設計。又例如企業可以通過對用戶習慣的深入分析，比較整體市場的增長特性，大幅提升自己在競爭分析方面的能力。
   存儲發展的必要性
   大數據意味著數據的增長超過了其本身的基礎架構，這驅動著應對這些特殊挑戰的存儲、網絡和計算系統進一步的發展。軟件應用需求最終推動了硬件功能的發展，同時在這種情況下，大數據分析的處理過程正在影響著數據存儲基礎架構的發展。這對于存儲和IT基礎架構企業而言是一項機遇。隨著結構化和非結構化數據集的持續增長，這類數據的分析方式也更為多樣化，當前的存儲系統設計難以應對大數據基礎架構所需。存儲供應商已經開始推出基于數據塊和基于文件的系統來應對許多這方面的需求。以下列出了一些大數據存儲基礎架構的特性，這些都是源自大數據的挑戰。
    容量?！按蟆痹诤芏鄷r候可以理解為PB級別的數據，因此大數據基礎架構當然要能夠可以擴展。不過其同樣必須能夠簡易地完成擴展，以模塊化或陣列的方式為用戶直接增加容量，或者至少保持系統不會宕機。橫向擴展式存儲由于能夠滿足這種需求，變得十分流行。橫向擴展集群體系架構的特征是由存儲節點構成，每個節點具備處理能力和可連接性，可以無縫地擴展，避免傳統系統可能產生的煙囪式存儲的問題。
   大數據還意味著大量的文件。管理元數據文件系統的累計會降低可擴展性并影響性能，用傳統的NAS系統就會在這種情況下出現問題?；趯ο蟮拇鎯w系架構則通過另一種方式，支持在大數據存儲系統中擴展至十億級別的文件數量，而不會產生傳統文件系統中會遇到的負載問題?；趯ο蟮拇鎯梢栽诓煌牡乩砦恢眠M行擴展，可以在多個不同地點擴展出大型的基礎架構。
    延遲。大數據基礎架構中或許同樣會包含實時性的組件，尤其是在網頁交互或金融處理事務中。存儲系統必須能夠應對上述問題同時保持相應的性能，因為延遲可能產生過期數據。在這一領域，橫向擴展式基礎架構同樣能夠通過應用存儲節點集群，隨著容量擴展的同時增強處理能力和可連接性?；趯ο蟮拇鎯ο到y可能并發數據流，更大程度上改善吞吐量。