大數據基礎知識分享 你也可以成為相關專家

作為一名網站工作者，每天都和數據打交道。在與數據相關的知識中，大數據這個概念曾經困擾我很久。在逐漸了解一些基礎知識后，我才明白大數據到底是什么，具有有什么用處。下面，我將分享我對大數據的一些學習經驗，希望能對你有所幫助。

最開始，我是從網上搜索資料。首先，我從大數據概念入手。我在百度、好搜上尋找大數據的百科定義。

大數據概念-百度百科

大數據(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

對于“大數據”（Big data）研究機構Gartner給出了這樣的定義?！按髷祿笔切枰绿幚砟Ｊ讲拍芫哂懈鼜姷臎Q策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。

為了全面了解大數據的基本概念，請你仔細閱讀下面兩篇文章，對你深入學習有很大幫助。

大數據是什么意思

在了解了大數據的基本概念之后，我對它慢慢有了一定認識，但是，我對其中的兩個相關概念還是不清楚：云計算和Hadoop

云計算是什么？Hadoop是什么，他們之間有什么關系？

云計算概念百度百科解釋

云計算（cloud computing）是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。云是網絡、互聯網的一種比喻說法。過去在圖中往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。因此，云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。

對云計算的定義有多種說法。對于到底什么是云計算，至少可以找到100種解釋?，F階段廣為接受的是美國國家標準與技術研究院（NIST）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。

云計算（cloudcomputing）是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。

美國國家標準與技術研究院（NIST）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。XenSystem，以及在國外已經非常成熟的Intel 和IBM，各種“云計算”的應用服務范圍正日漸擴大，影響力也無可估量。

在了解云計算概念之后，請你閱讀這一篇文章，看完之后，你會對大數據與云計算的關系有一個初步的了解

大數據和云計算到底是何關系？

hadoop概念

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。

用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。

項目起源

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為Lucene的子項目Nutch的一部分正式引入。它受到最先由 Google Lab 開發的 Map/Reduce 和 Google File System(GFS) 的啟發。

2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。

Hadoop 是最受歡迎的在 Internet 上對搜索關鍵字進行內容分類的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果您要 grep 一個 10TB 的巨型文件，會出現什么情況？在傳統的系統上，這將需要很長的時間。但是 Hadoop 在設計時就考慮到這些問題，采用并行執行機制，因此能大大提高效率。

那么大數據和Hadoop之間又是什么關系呢？請看下面的文章

大數據與Hadoo之間是什么關系？

我在了解了以上知識之后，對大數據有了一定了解，如果你想更深入學習，可以買一些大數據相關的專業書籍。