有關Hadoop的六大誤解

迄今為止，Hadoop和大數據實際上是同義詞。然而隨著大數據的炒作不斷升溫，出現了很多對Hadoop如何應用于大數據的誤解。
　　Hadoop是一種用于存儲和分析大型數據集開源軟件框架，可處理分布在多個現有服務器中的數據。Hadoop適合處理來自手機、電子郵件、社交媒體、傳感器網絡和其它不同渠道的多樣化、大負荷的數據，因此通常被認為是一種大數據操作系統。而這正是第一個誤解的來源：
　　1、Hadoop是一個完整的解決方案。
　　事實并非如此。無論你把它稱為“框架”或“平臺”都可以，只是不能認為Hadoop可以解決大數據方面的所有問題。
　　“市場上沒有標準的Hadoop產品，”《太大而無法忽略：大數據的商業案例》一書的作者菲爾·西蒙說：“這不像別的東西，你可以從IBM或SAP那里，得到一個標準的數據庫?！?/span>
　　然而西蒙不認為這是一個長期的問題。首先，由于Hadoop是開源項目，許多其他Hadoop相關的項目，如Cassandra和HBase，都可以滿足特定的需求。HBase提供的分布式數據庫，支持大數據表的結構化數據存儲。
　　此外，正像紅帽、IBM和其他廠商將Linux打包成各種用戶友好的產品一樣，有很多大數據方面的創業公司，正在對Hadoop做同樣的事情。所以，雖然Hadoop本身不是一個完整的解決方案，大多數企業實際上還是會在比較完整的大數據解決方案中遇到它。
　　2、Hadoop是一種數據庫。
　　Hadoop是經常被當作數據庫，但事實并非如此。Damballa安保公司的一名軟件工程師，Marshall Bockrath-Vandegrift說：“Hadoop核心中沒有任何類似于查詢或索引的核心平臺?！盌amballa公司利用Hadoop來分析實時的安全風險。
　　“我們使用HBase來幫助我們的風險分析師針對被動DNS數據運行實時查詢。HBase和其他實時技術不僅與Hadoop是互補的，而且多數依賴Hadoop核心的分布式存儲技術(HDFS)來實現高性能的分布式數據集的訪問?！彼a充說。
　　Bloom Reach數據營銷分析公司的科學家Prateek Gupta也表示：“Hadoop不是為替代數據庫系統而生的，但卻可以用來建立數據庫系統?！?/span>
　　3、企業級Hadoop應用過于冒險。
　　許多企業擔心Hadoop太新，未經考驗，不適合企業級應用。沒有什么想法比這更錯誤的了。別忘了，Hadoop是基于谷歌文件系統的分布式存儲平臺和運行于該文件系統上的GoogleMapReduce數據分析工具建立的。雅虎在Hadoop上投入了資金和精力，并于2008年推出其第一個大型Hadoop應用，一種搜索“站點地圖”，可對所有已知的網頁和相應的元數據進行索引，從而完成對這些頁面的搜索。
　　現在，Hadoop被包括Netflix、Twitter和eBay等公司所采用，包括微軟、IBM和甲骨文這樣的公司都有Hadoop工具出售。目前，將Hadoop稱為“成熟”的技術還為時尚早，這一點與任何大數據平臺的情況類似，然而它確實已經得到了大型企業的采納和驗證。
　　這不意味著它是一種沒有風險的平臺，安全問題本身就是一個比較棘手的問題。但企業遠不該就因此被Hadoop平臺的年輕而嚇跑。
　　4、要使用Hadoop，就得請一堆程序員。
　　取決于你要做的事情，這個說法或許是對的。如果你計劃開發優秀的下一代Hadoop大數據套件，可能需要專業的Java和MapReduce編程人員。反過來，如果你愿意利用他人的成就，編程就不是一個問題。數據集成供應商Syncsort的建議分析師們利用Hadoop兼容的數據集成工具來運行高級查詢，這樣做無需任何編碼工作。
　　大多數數據集成工具都有圖形化界面，可以屏蔽MapReduce編程的復雜性，很多還帶有預置的模板。此外，包括Alpine Data Labs、Continuuity和Hortonworks在內的創業型公司，還提供可以簡化大數據和Hadoop應用的工具。
　　5、Hadoop不適合中小企業。
　　許多中小企業擔心會被“大數據”的趨勢拒之門外。IBM、甲骨文等大型廠商自然傾向于兜售大而昂貴的解決方案。這并不意味著市場上沒有適合中小企業的相關工具。
　　云計算正在迅速推動一些尖端技術的大眾化應用?！?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計算正將資本支出轉化為運營成本，”《大數據》的作者菲爾·西蒙指出?！澳憧梢院蚇etflix利用相同的云服務。同樣的事情也開始發生在大數據領域，一個只有五個員工的企業，照樣可以使用Kaggle?！?/span>
　　Kaggle稱自己為“在數據問題和數據方案間搭建橋梁的市場?！崩?，創業公司Jetpac以5000美元懸賞一種算法，以找出最有吸引力的度假照片。多數度假照并不好，而從中篩選是一個繁瑣，耗時的過程。
　　Jetpac讓人手工評選出了30000張照片，并且尋求一種能夠與人工方式類似，只是通過分析元數據(照片大小、標題，描述信息)來進行排序的算法。如果該公司自行開發這一算法，花的錢絕對不止5000美元。而且他們只能得到一種方案，而不是從各種方案中優選。Jetpac的圖像處理工具，最終幫助其獲得了240萬美元的風投資金。
　　6、Hadoop比較便宜。
　　這個誤解對任何開放源代碼的軟件都適用。省下最初的采購成本，并不意味著你一定會省錢。例如，云計算的問題之一就是，要在亞馬遜平臺上建立一個科研項目非常容易，以致于很多人都在AWS建立了自己的項目，在持續付費的同時，卻忘了這些項目本身。
　　虛擬服務器的盲目擴張，已經使物理服務器的增加相形見絀。雖然Hadoop可以幫助你存儲和分析數據，但你又如何將老的數據導入到新的系統中?如何實現數據的可視化?如何分享數據?對于這些會更多被大家分享的數據，你又如何去保護它?
　　Hadoop實際上一種東拼西湊的解決方案。你可以從Cloudera這樣的公司獲得完整的企業級解決方案，也可以著手建立自己高度定制化的解決方案。無論你選擇的路線如何，都要認真做好預算，因為免費軟件從來都不是真正免費的。