五分鐘快速了解大數據及其必備技能

當前，整個互聯網正在從IT時代向DT時代演進，大數據技術也正在助力企業和公眾敲開DT世界大門。雖然大數據潮流在默默的推進各種變革，但您真的了解大數據么？

大數據定義

一般而言，大數據是指數量龐大而復雜，傳統的數據處理產品無法在合理的時間內捕獲、管理和處理的數據集合。

這些大數據集可以包括結構化、非結構化和半結構化數據，需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

究竟有多少數據才能實構成“大”數據呢？這也是有爭議的，大數據的大小經常改變，截至2012年，單一數據集的大小從數太字節（TB）至數十兆億字節（PB）不等。

大數據通常以三個V來表征：

＊ 數據量的大?。╲olume）

＊ 數據類型的多樣性（Variety）

＊ 數據處理和分析的速度（Velocity）

構成大數據存儲的數據可以來自包括網站、社交媒體、桌面和移動應用、科學實驗以及物聯網（IoT）中越來越多的傳感器和其他設備。

大數據概念包含了一組相關的組件，使企業能夠將數據實際使用并解決一些業務問題。其中包括支持大數據所需的IT基礎架構、分析應用于數據、大數據項目所需的技術、相關技能組合、以及對大數據有意義的實際使用案例。

大數據和分析

應用于數據的分析才是真正能夠從大數據集合中獲得價值的所在。沒有分析，大數據集合也只是一堆有限的商業數據。

通過對大數據進行分析，企業可以從分析結果中得出諸如增加銷售額、改善客戶服務、提高效率等結論，全面提升企業競爭力。數據分析包括檢查數據集，以獲得對其所包含內容得出的結論，例如關于未來活動的趨勢和預測。通過分析數據，企業可以做出更明智的業務決策，例如該在何時何地進行營銷活動等。

分析可以參考基本的商業智能應用程序或更高級的預測性分析，例如科學組織使用的分析。在最先進的數據分析類型中，數據挖掘是分析師評估大型數據集以識別關系的一種方式。

數據分析可以包括探索性數據分析（識別數據中的模式和關系）和驗證性數據分析（應用統計技術來確定關于特定數據集的假設是否屬實）。另一個區分是定量數據分析（或數字數據分析，其中有可量化的變量，可以進行統計比較）與定性數據分析（側重于非數字數據、如視頻、圖像和文本）。

IT基礎架構來支持大數據

為了能讓大數據概念發揮作用，企業需要有適當的基礎設施來收集和存儲數據，提供對數據的訪問，并在存儲和傳輸過程中保護信息。在高層次上，這其中包括為大數據、數據管理和集成軟件、商業智能和數據分析軟件以及大數據應用設計的存儲系統和服務器。

由于公司希望繼續利用數據中心投資，因此大部分基礎架構可能都是內部部署的。但越來越多的企業依靠云計算服務來處理大部分大數據需求。

數據收集這一過程需要數據源。網絡應用程序、社交媒體渠道、移動應用程序和電子郵件檔案已經到位，但隨著物聯網逐漸成熟，企業可能需要在各種設備、車輛和產品上部署傳感器來收集數據，以及生成用戶數據的新應用程序。

為了存儲所有傳入的數據，企業需要有適當的數據存儲。存儲選項包括傳統的數據倉庫、數據湖和基于云的存儲。

安全基礎設施工具可能包括數據加密、用戶身份驗證和其他訪問控制、監控系統、防火墻、企業移動管理以及其他保護系統和數據的產品。

大數據的特定技術

一般來說，除了上述用于數據的IT基礎設施之外。您的IT基礎架構應該支持特定于大數據的幾種技術。

1. Hadoop生態系統

Hadoop是與大數據密切相關的技術之一。 Apache Hadoop項目為可擴展的分布式計算開發開源軟件。Hadoop軟件庫是一個框架，可以使用簡單的編程模型在整個計算機集群上分布式處理大型數據集。它旨在從單個服務器擴展到數千個服務器，每一個都提供本地計算和存儲。該項目包括幾個模塊：

＊ Hadoop Common，支持其他Hadoop模塊的常用工具；

＊ Hadoop分布式文件系統，提供對應用程序數據的高吞吐量訪問；

＊ Hadoop YARN，作業調度和集群資源管理的框架；

＊ Hadoop MapReduce，一個基于YARN的并行處理大型數據集的系統。

2. Apache Spark

作為Hadoop生態系統的一部分，Apache Spark是一個開源的集群計算框架，可用作在Hadoop中處理大數據的引擎。 Spark已經成為關鍵的大數據分布式處理框架之一，并且可以以各種方式進行部署。它為Java、Scala、Python和R編程語言提供本地綁定，并支持SQL、流數據、機器學習和圖形處理。

3. 數據湖

數據湖泊是存儲庫，它以本機格式存儲極大量的原始數據。數字化轉型舉措和物聯網的發展促進了數據湖的發展。數據湖的設計是為了方便用戶在需要時訪問大量的數據。

4. NoSQL數據庫

傳統的SQL數據庫是為可靠的事務和即席查詢而設計的，但是它們有嚴格的架構等限制，這使得它們不太適合某些類型的應用程序。NoSQL數據庫解決了這些限制，并以高速運行和高度靈活性的方式存儲和管理數據。與SQL數據庫不同，許多NoSQL數據庫可以在數百或數千臺服務器上橫向擴展。

5. 內存數據庫

內存數據庫（IMDB）是一種數據庫管理系統，主要依靠主內存來存儲數據。內存數據庫比磁盤優化數據庫要快。

大數據技能

大數據和大數據分析工作都需要特定的技能。這些技能中的很多都與關鍵的大數據技術組件（如Hadoop、Spark、NoSQL數據庫、內存數據庫和分析軟件）相關。

其他則專門針對數據科學、數據挖掘、統計和定量分析、數據可視化、通用編程以及數據結構和算法等學科，還需要有整體管理技能。鑒于大數據分析項目已經非常普及，卻缺乏擁有這些技能的人才，尋找有經驗的專業人員可能是企業面臨的最大挑戰之一。

大數據用例

大數據和分析可以應用于許多業務問題和用例。這里有一些例子：

＊ 客戶分析。公司可以檢查客戶數據以改善客戶體驗，提高轉換率并增加留存率。

＊ 運營分析。提高運營績效，更好地利用企業資產是許多公司的目標。大數據分析可以幫助企業找到更高效運營和提高績效的方法。

＊ 預防詐騙。數據分析可幫助組織識別可能指示欺詐行為并有助于降低風險的可疑活動和模式。

＊ 價格優化。公司可以使用大數據分析來優化產品和服務收取的價格，從而幫助提高收入。