Hadoop常見問題解答

（1）Hadoop適不適用于電子政務？為什么？

電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平臺。因此電子政務肯定會產生相關的大量數據以及相應的計算需求，而這兩種需求涉及的數據和計算達到一定規模時傳統的系統架構將不能滿足，就需要借助海量數據處理平臺，例如Hadoop技術，因此可以利用Hadoop技術來構建電子政務云平臺。

總結一下，任何系統沒有絕對的適合和不適合，只有當需求出現時才可以決定，在一個非常小的電子政務系統上如果沒有打數據處理以及計算分析需求時就不需要hadoop這樣的技術，而實際上，商用的電子政務平臺往往涉及到大規模的數據和大量的計算分析處理需求，因此就需要Hadoop這樣的技術來解決。

（2）hadoop對于實時在線處理有優勢嗎？
直接使用hadoop進行實時處理時沒有優勢的，因為Hadoop主要解決的是海量批處理作業計算問題，但是可以使用基于Hadoop的分布式NOSQL系統HBase系統以及相關實時處理系統：
1. 基于Hadoop的HBase可以做到實時處理以及相關需求的實時計算，主要解決海量<key,value>相關查詢計算等需求。
2. 可以考慮Spark計算，Spark是基于共現內存RDD的系統，比Hadoop更快，時候迭代式計算，例如數據挖掘，機器學習算法等。
3. 還有Storm，Storm是一個免費開源、分布式、高容錯的實時計算系統，Storm經常用于在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。
4. 考慮S4， S4是Yahoo!在2010年10月開源的一套通用、分布式、可擴展、部分容錯、具備可插拔功能的平臺。這套平臺主要是為了方便開發者開發處理流式數據（continuous unbounded streams of data）的應用。
你可以依據實際的需求來選擇合適的系統。
（3）Hadoop存儲海量數據沒有問題，但是如何能夠做到海量數據的實時檢索？
1,可以結合開源的搜索引擎Apache Lucene，Solr 或ElasticSearch
2,海量數據的實時檢索可以考慮HBase，建議可以使用hadoop將數據構建成以查詢key為鍵的數據集，然后將<key, value>集合寫入Hbase表中，Hbase會自動以key為鍵進行索引，在數十億甚至以上的級別下，查詢key的value響應時間也估計再10毫秒內。
如果檢索條件是多個組合的情況下，可以適當的設計多個hbase表格，這樣的檢索也是很快的，同時Hbase也是支持二級索引。在符合條件下查詢，Hbase也是支持MapReduce的，如果對響應時間要求不高的情況下，可以考慮將hive和Hbase系統結合來使用。
如果數據量不是很大的情況下也可以考慮支持類似SQL的NOSLQ系統。
（4）能不能給點hadoop的學習方法以及學習規劃，hadoop系統有點龐大，感覺無從學起?
首先搞清楚什么是hadoop以及hadoop可以用來做什么？
然后，可以從最經典的詞頻統計程序開始，初步了解MapReduce的基本思路和處理數據的方式。
接著，就可以正式學習hadoop的基本原理，包括HDFS和MapReduce，先從整體，宏觀核心原理看，先別看源碼級別。
進一步，就可以深入HDFS和MapReduce和模塊細節，這個時候可以結合源碼深入理解，以及實現機制。
最后就是需要實戰了，可以結合自己的項目或者相關需求來完成一些hadoop相關應用。
（5） 大的文件拆分成很多小的文件后，怎樣用Hadoop進行高效的處理這些小文件？以及怎樣讓各個節點盡可能的負載均衡？
1. 怎樣用Hadoop進行高效的處理這些小文件？
你這個問題提的很好，hadoop在處理大規模數據時是很高效的，但是處理大量的小文件時就會因為系統資源開銷過大而導致效率較低，針對這樣的問題，可以將小文件打包為大文件，例如使用SequcenFile文件格式，例如以文件簽名為key，文件內容本身為value寫成SequcenFile文件的一條記錄，這樣多個小文件就可以通過SequcenFile文件格式變為一個大文件，之前的每個小文件都會映射為SequcenFile文件的一條記錄。
2. 怎樣讓各個節點盡可能的負載均衡？
在hadoop集群中負載均衡是非常關鍵的，這種情況的導致往往是因為用戶的數據分布的并不均衡，而計算資源槽位數確實均衡分布在每個節點，這樣在作業運行時非本地任務會有大量的數據傳輸，從而導致集群負載不均衡，因此解決不均衡的要點就是將用戶的數據分布均衡，可以使用hadoop內置的balancer腳本命令。
對于因為資源調度導致的不均衡則需要考慮具體的調度算法和作業分配機制。
(6)c/c++ 程序員如何入門Hadoop到深入了解，并在Linux服務器上布置運用，有沒有方向性的指導?
針對C/C++用戶，Hadoop提供了hadoop streaming接口和pipes接口，hadoop streaming接口以標準輸入和標準輸出作為用戶程序和hadoop框架交互的中間件，pipes這是專門針對C/C++語言的接口，以socket作為同學中介。
從使用上建議從streaming入手，pipes相比streaming問題比較多，而且pipes調試不容易。
(7)現在企業中使用Hadoop版本主要是1.x還是2.x？
目前百度，騰訊，阿里為主的互聯網公司都是以hadoop 1.X為基準版本的，當然每個公司都會進行自定義的二次開發以滿足不同的集群需求。
2.X在百度內部還沒有正式使用，還是以1.X為主，不過百度針對1.X的問題開發了HCE系統（Hadoop C++ Expand系統）
補充，Hadoop2.x在其他公司應用的很多，比如京東
(8)以后想從事大數據方面工作，算法要掌握到什么程度，算法占主要部分嗎?
首先，如果要從事大數據相關領域的話，hadoop是作為工具來使用的，首先需要掌握使用方法?？梢圆挥蒙钊氲絟adoop源碼級別細節。
然后就是對算法的理解，往往需要設計到數據挖掘算法的分布式實現，而算法本身你還是需要理解的，例如常用的k-means聚類等。
(9)現在spark，storm越來越火，谷歌也發布了Cloud Dataflow，是不是Hadoop以后主要應該學習hdfs和yarn，而且以后Hadoop程序員的主要做的就是把這些東西打包，只提供接口讓普通的程序員也能使用，就像Cloudera和Google一樣?
這位同學，你多慮了，hadoop和spark, strom是解決不同的問題，不存在哪個好那個壞，要學習Hadoop還是以主流的hadoop-1.X為版本，2.X最主要的就是多了yarn框架，很好理解的。
如果你是hadoop本身研發建議都看，如果你是hadoop應用相關研發，看主流的1.X就行，我的書《Hadoop核心技術》是以主流的1.X為版本講解的，有興趣可以看看。
(10)小白問一句，大數據處理都是服務器上安裝相關軟件嗎，對程序有什么影響呢，集群、大數據是屬于運維的工作內容還是攻城獅的呢?
傳統的程序只能運行在單機上，而大數據處理這往往使用分布式編程框架編寫，例如hadoop mapreduce，只能運行在hadoop集群平臺上。
運維的責任：保證集群，機器的穩定性和可靠性
hadoop系統本身研發：提高Hadoop集群的性能，增加新功能。
大數據應用：把hadoop作為工具，去實現海量數據處理或者相關需求。
(11)學習hadoop該怎么入手呢？應該做一些什么樣的項目呢？
可以參考我上面的幾個回答，可以從最簡單詞頻統計程序入手，然后學習理解HDFS和MapReduce的基本原理和核心機制，如果僅僅把Hadoop作為一個工具來使用的話這樣就可以了，最重要的就是實戰了，可以嘗試使用Hadoop處理一些數據，例如做日志分析，數據統計，排序，倒排索引等典型應用。
(12)100個以上hadoop節點，一般怎么開發，運維？任務很多的情況下任務資源怎么分配，任務執行順序是定時腳本還是別的什么方式控制?
1. 首先大數據的應用開發和hadoop集群的規模是沒有關系，你指的是集群的搭建和運維嗎，對于商用的hadoop系統來說涉及到很多東西，建議參考《hadoop核心技術》實戰篇 “第10章　Hadoop集群搭建 ” 章節。
2. 任務的分配是有hadoop的調度器的調度策略決定的，默認為FIFO調度，商業集群一般使用多隊列多用戶調度器，可以參考參考《hadoop核心技術》高級篇 “第9章　Hadoop作業調度系統” 章節。
3. 任務的執行順序是有用戶控制的，你自然可以定時啟動，也可以手動啟動。
(13)基于Hadoop做開發，是否必須會使用Java，使用其他開發語言是否無法更好的融入整個Hadoop的開發體系?
基于Hadoop做開發可以使用任何語言，因為hadoop提高了streaming編程框架和pipes編程接口，streaming框架下用戶可以使用任何可以操作標準輸入輸出的計算機語言來開發hadoop應用。
(14)在reduce階段老是卡在最后階段很長時間，在網上查的說是有可能是數據傾斜，我想問這個有啥解決方法嗎?
1,你這個就是數據傾斜啊 好多數據都集中在一個reduce里 其他reduce里分配的數據比較少 默認情況下決定哪些數據分配到哪個reduce是由reduce個數和partiiton分區決定的 默認是對key進行hash運算 一般情況下用mapreuce傾斜很少 除非你用的HIVE
2,reduce分為3個子階段：shuffle、sort和reduce，如果reduce整個過程耗時較長，建議先看一下監控界面是卡在哪個階段，如果是卡在shuffle階段往往是網絡阻塞問題，還有就是某reduce數據量太大，也就是你所說的數據傾斜問題，這種問題往往因為某個key的value太多，解決方法是：第一，默認的partiiton可能不適合你的需求，你可以自定義partiiton；第二就是在map端截斷，盡量讓達到每個reduce端的數據分布均勻。
(15)非大數據的項目能否用hadoop?
非大數據項目是否可以用Hadoop的關鍵問題在于是否有海量數據的存儲，計算，以及分析挖掘等需求，如果現有系統已經很好滿足當前需求那么就沒有必要使用Hadoop，沒有必要使用并不意味這不能使用Hadoop，很多傳統系統能做的Hadoop也是可以做的，例如使用HDFS來代替LINUX NFS，使用MapReduce來代替單服務器的統計分析相關任務，使用Hbase代替Mysql等關系數據庫等，在數據量不大的情況下通常Hadoop集群肯定比傳統系統消耗更多的資源。
(16)hadoop mapreduce 和第三方資源管理調度系統如何集成？
Hadoop的調度器設計的一個原則就是可插拔式調度器框架，因此是很容易和第三方調度器集成的，例如公平調度器FairScheduler和容量調度器CapacityScheduler，并配置mapred-site.xml的mapreduce.jobtracker.taskscheduler以及調度器本身的配置參數，例如公平調度器控制參數則需要編輯fair- scheduler.xml進行配置，具體可以參考我的新書《Hadoop核心技術》實戰篇第十章節10.11的集群搭建實例中的10.10.9 配置第三方調度器，同時可以進一步深入學習第9章 Hadoop作業調度系統，在這一章中會詳細介紹各種第三方調度器以及使用配置方法。