Hadoop在大數據處理時的優劣勢分析

在近兩年，大數據分析似乎很受歡迎，但即使如此，仍有不少企業發現，現有的數據挖掘和分析技術還是不能完美勝任大數據的處理任務。

而對于這個問題，一個可能的解決方案就是搭建Hadoop集群，但它并不適合所有情況。讓我們了解一下Hadoop集群在大數據分析中應用的優勢與挑戰。

Hadoop集群是一種專門為存儲和分析海量非結構化數據而設計的特定類型的集群。本質上，它是一種計算集群，即將數據分析的工作分配到多個集群節點上，從而并行處理數據。

搭建Hadoop集群的優點

使用Hadoop集群最大的好處在于它非常適合大數據分析。大數據一般都是分布廣泛并且是非結構化的。而Hadoop非常適合這類數據是因為，Hadoop的工作原理在于將數據拆分成片，并將每個“分片”分配到特定的集群節點上進行分析。數據不必均勻分布，因為每個數據分片都是在獨立的集群節點上進行單獨處理的。

Hadoop集群的另一個優點可擴展性。和其它任何類型的數據一樣，大數據分析面臨的一個重要問題也是數據量的不斷增加。而且大數據最大的優勢在于可以實時或接近實時地進行分析處理。而Hadoop集群的并行處理能力能明顯提高分析速度，但隨著要分析的數據量的增加，集群的處理能力可能會收到影響。但令人欣慰的是，通過添加額外的集群節點可以有效的擴展集群。

Hadoop集群的第三個好處是成本。這一點聽起來似乎有些奇怪，畢竟分析大數據是一個企業級的IT活動，一直以來企業級的IT應用從未廉價過。但是，事實證明，Hadoop集群的確是一個高性價比的解決方案。Hadoop集群較為廉價有兩個主要原因。它所需的軟件是開源的，這樣就可以降低成本。事實上，你可以自由下載ApacheHadoop發行版。同時，Hadoop集群通過支持商用硬件控制了成本。不必購買服務器級硬件，便可以搭建一個強大的Hadoop集群。Hadoop集群的另一個優點在于故障容錯。當一個數據分片發送到某個節點進行分析時，該數據在集群其它節點上會有副本。通過這種方式，即使一個節點發生故障，該節點數據的額外拷貝仍存在于集群內的其它地方，這樣，數據仍可以進行分析處理。

Hadoop集群的缺點

雖然Hadoop集群有這么多優點和好處，但它卻并非是對于所有企業都適用的數據分析解決方案。比如某企業的數據量相對較少，即使亟需數據分析也可能不會受益于Hadoop集群。使用Hadoop集群的另外一個缺點在于集群解決方案是建立在數據“可分”以及可在獨立節點上進行并行處理的基礎之上的。如果要做的分析不適應于并行處理環境，那么Hadoop集群就不是完成這項任務的合適工具。

也許使用Hadoop集群最顯著的缺點在于集群的搭建、運維和支持是一個陡峭的曲線。除非恰好在你的IT部門里有Hadoop專家，否則學習如何搭建集群和執行所需的數據分析任務需耗費些時日。如果你不確定企業能否受益于Hadoop集群，那么在提交搭建大型集群之前，可以先下載安裝ApacheHadoop到多余的硬件上看看效果如何。