熱線電話:13121318867

登錄
首頁大數據時代分布式集群參數master節點:DataNode、NameNode等相關配置
分布式集群參數master節點:DataNode、NameNode等相關配置
2020-06-03
收藏

之前的文章中我們已經將master節點的網絡IP、hostname文件、hosts文件配置完成,接下來還有hadoop相關配置文件需要修改。今天我們來講master節點hadoop的配置。

1、hdfs-site.xml

在hadoop的配置文件中與HDFS(hadoop分布式文件系統)相關的是hdfs-core.xml文件。在偽分布集群中只有一個節點,因此此節點即要有NameNode功能也要有DataNode功能。在工作環境中這兩個是不會在一個節點上的,在我們的多節點分布式集群中master只運行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關配置。

打開虛擬機在終端中輸入cd hadoop/etc/hadoop 命令進入hadoop配置文件目錄。

終端輸入命令vim hdfs-site.xml進入vim編輯界面,按下圖步驟刪除原來偽分布集群配置的DataNode相關配置,并將數據冗余數量設置為2。

輸入i進入編輯模式,編輯后的文件內容如下所示。

最后退出編輯模式,保存并退出。

2、core-site.xml

在core-site.xml中指定一個節點運行hdfs服務。在之前偽分布集群中只有一個節點,因此我們使用的是localhost,如今在集群中有三個節點,我們約定使用master。

在終端中輸入vim core-site.xml按下圖操作修改配置文件。

修改后內容如下所示

記得退出并保存。

3、yarn-site.xml

在yarn-site.xml里可以修改與資源管理模塊YARN相關的一些配置。

終端中輸入 vim yarn-site.xml進行以下更改,將資源調度管理任務放置于master節點上

最終修改后的文件內容如下圖所示。

4、mapred-site.xml

進行以下更改,主要添加mapreduce運行歷史記錄監控端口和網頁端口。

同樣,在終端輸入vim mapred-site.xml開始編輯配置文件,配置內容如下所示

最后保存并退出。

5、slaves

slaves文件指明哪些節點運行DateNode進程,這里我們的集群中運行DataNode進程的節點有slave1、slave2。因此需將這兩節點保存到slaves文件中。

在終端中輸入 vim slaves命令編輯文件,編輯后的文件內容如下圖所示。

最后保存slaves文件并退出編輯。到這里master節點上的hadoop相關配置已經完成了。

接下來我們要通過克隆master及slave1虛擬機來擴展集群。

6、生成slave1節點

通過克隆master 生成slave1節點的過程與之前克隆偽分布節點的操作是一致的這里不再贅述,唯一區別是在執行到下圖步驟時注意將虛擬機名稱設置為slave1并選擇正確的存儲位置方便管理。還有一點,被克隆的虛擬機一定要關機狀態才可以被克隆。

slave1節點與master節點在hostname、IP地址、Hadoop配置這幾個方面是有些差異的,在復制好slave1節點之后需進行配置。

6.1 配置IP地址

在前面文章中提到過slave1節點IP地址應設置為固定的值:192.168.79.12。詳細的配置方法步驟已經在配置master節點時介紹過,配置slave1節點時可以參考一下。修改完成后的配置結果如下圖所示,點擊save保存即可。

6.2、修改hostname

保存并退出

6.3、修改Hadoop配置項

hdfs-site.xml

保存并退出之后重啟slave1節點查看配置是否生效。

7、生成slave2節點

Slave2與slave1在Hadoop相關配置內容上是一致的,因此通過克隆slave1節點來生成slave2可以減少一些操作步驟。

克隆slave1節點時的操作步驟同樣參考之前文章內容,區別是執行到下圖步驟時記得更改虛擬機名稱為slave2并更改存儲目錄(存儲目錄自己定義)。

7.1、配置IP地址

克隆完成后打開slave2虛擬機并配置其IP地址。配置過程與之前配置master節點IP過程一致,只是IP地址需改為192.168.79.13結果如下圖所示,點擊save保存即可。

更改Hostname,在終端中輸入sudo vim /etc/hostname并回車執行,根據提示輸入密碼

輸入i編輯hostname文件,文件內容如下所示為slave2,然后保存退出。

重啟虛擬機測試配置是否生效,重啟命令為sudo reboot

slave2重新啟動后打開終端,輸入命令ifconfig查看IP設置及虛擬機名,如下圖所示配置已經生效。

到這里我們的hadoop集群安裝配置完成。接下來的文章我會給大家介紹一下hadoop集群如如何啟動。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢