數據分析不使用Hadoop的五大理由_數據分析師

作為Hadoop 曾經的超級粉絲，Joe Brightly承認自己在很多方面非常熱愛Hadoop，比如“可以處理PB級別的數據；可以擴展到數千個處理大量計算工作的節點；可以用非常靈活的方式存儲和加載數據……”但當他部署Hadoop用于分析的時候，他才意識到它并不是無所不能。

在Quantivo，Joe及其同事已經“探索了許多方法來部署Hadoop用于回答分析型查詢”，直到最后，“它變得好像是用一個錘子來建造一個房屋的運動”，這并不是不可能，但是帶來了“不必要的痛苦和可笑的低效成本”。

Joe 從五個方面分析了為什么數據分析不使用Hadoop的理由：

1：“Hadoop是一個框架，不是一個解決方案”

他認為在解決大數據分析的問題上人們誤認為Hadoop可以立即有效工作，而實際上“對于簡單的查詢，它是可以的。但對于難一些的分析問題，Hadoop會迅速敗下陣來，因為需要你直接開發Map/Reduce代碼。出于這個原因，Hadoop更像是J2EE編程環境而不是商業分析解決方案?！? 所謂框架意味著你一定要在之上做個性化和業務相關的開發和實現，而這些都需要成本。

2：“Hadoop的子項目Hive和Pig 都不錯，但不能逾越其架構的限制。”

Joe提出“Hive 和Pig 都是幫助非專業工程師快速有效使用Hadoop的完善工具，用于把分析查詢轉換為常用的SQL或Java Map/Reduce 任務，這些任務可以部署在Hadoop環境中?！逼渲?a href='/map/hive/' style='color:#000;font-size:inherit;'>Hive是基于Hadoop的一個數據倉庫工具，它可以幫助實現數據匯總、即時查詢以及分析存儲在Hadoop兼容的文件系統的大型數據集等。而Pig是并行計算的高級數據流語言和執行框架。但作者認為“Hadoop的Map/Reduce框架的一些限制，會導致效率低下，尤其是在節點間通信的情況（這種場合需要排序和連接）?！?/span>

3：“部署是很方便，快捷而且免費，但在后期維護和開發方面成本很高 ”

Joe不否認“工程師可以在一個小時內下載、安裝并發布一個簡單的查詢，因此Hadoop是非常受歡迎的。而且作為沒有軟件成本的開源項目使得它是替代甲骨文和Teradata的一個非常有吸引力的選擇。但是就像很多通用開源框架一樣，它并不會完全適配你的業務，因此，要想把開源框架業務化，你就不得不投入開發和維護?！盝oe 也認為“一旦當你進入維護和開發階段，Hadoop的真正成本就會變得很明顯?！?/span>

4：“對于大數據流水線和匯總非常有效，但對應用于特定的分析來說是非?？膳碌??！?/span>

“Hadoop擅長于大量數據的分析和匯總，或把原始數據轉化成對另一個應用程序（如搜索或文本挖掘）更有效的東西‘流水線’- 這是它存在的意義。不過，如果你不知道要分析的問題，或如果你想探索數據的模式，Hadoop的很快變得不可收拾?！斑@再次回到了業務本身，框架是為業務服務的，即便是大數據的分析和匯總，也難以脫離其數據的業務特性。所以對于特定的分析，仍然不得不在編程和執行MapReduce代碼上花很多時間才能達到目的。

5：“性能除了‘不好’的時候都很好?！?/span>

“當你需要分析大量的數據時，Hadoop允許你通過數千個節點并行計算，這一點上其潛力很大。但是，并非所有的分析工作可以很容易地進行并行處理，尤其是需要當用戶交互驅動的分析?！? 所以要想性能很好，你仍然需要專門為自己要解決的問題而設計和優化相應的Hadoop程序，否則會很慢?！耙驗槊總€Map/Reduce 任務都要等到之前的工作完成?！彼跃拖耜P鍵路徑一樣，Hadoop執行性能的快慢會取決于其最慢的MapReduce任務。

Joe最后認為：“Hadoop是一個用來做一些非常復雜的數據分析的杰出工具。但是具有諷刺意味的是，它也是需要大量的編程工作才能得到這些問題的答案?！? 這一點不止在數據分析應用方面，它其實反映了目前使用開源框架時候不得不面對的選型平衡問題。當你在選型開源框架或代碼的時候，既要考慮清楚它能夠幫到你多少，節省多少時間和成本，提高多少效率。也要知道由此而產生多少新增的成本，比如工程師的學習成本、開發和維護成本，以及未來的擴展性，包括如果使用的框架升級了，你和你的團隊是否要做相應的升級；甚至還要有安全性方面的考慮，畢竟開源框架的漏洞也是眾所周知的。