
之前的文章中我們已經將master節點的網絡IP、hostname文件、hosts文件配置完成,接下來還有hadoop相關配置文件需要修改。今天我們來講master節點hadoop的配置。
1、hdfs-site.xml
在hadoop的配置文件中與HDFS(hadoop分布式文件系統)相關的是hdfs-core.xml文件。在偽分布集群中只有一個節點,因此此節點即要有NameNode功能也要有DataNode功能。在工作環境中這兩個是不會在一個節點上的,在我們的多節點分布式集群中master只運行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關配置。
打開虛擬機在終端中輸入cd hadoop/etc/hadoop 命令進入hadoop配置文件目錄。
終端輸入命令vim hdfs-site.xml進入vim編輯界面,按下圖步驟刪除原來偽分布集群配置的DataNode相關配置,并將數據冗余數量設置為2。
輸入i進入編輯模式,編輯后的文件內容如下所示。
最后退出編輯模式,保存并退出。
2、core-site.xml
在core-site.xml中指定一個節點運行hdfs服務。在之前偽分布集群中只有一個節點,因此我們使用的是localhost,如今在集群中有三個節點,我們約定使用master。
在終端中輸入vim core-site.xml按下圖操作修改配置文件。
修改后內容如下所示
記得退出并保存。
在yarn-site.xml里可以修改與資源管理模塊YARN相關的一些配置。
終端中輸入 vim yarn-site.xml進行以下更改,將資源調度管理任務放置于master節點上
最終修改后的文件內容如下圖所示。
4、mapred-site.xml
進行以下更改,主要添加mapreduce運行歷史記錄監控端口和網頁端口。
同樣,在終端輸入vim mapred-site.xml開始編輯配置文件,配置內容如下所示
最后保存并退出。
5、slaves
slaves文件指明哪些節點運行DateNode進程,這里我們的集群中運行DataNode進程的節點有slave1、slave2。因此需將這兩節點保存到slaves文件中。
在終端中輸入 vim slaves命令編輯文件,編輯后的文件內容如下圖所示。
最后保存slaves文件并退出編輯。到這里master節點上的hadoop相關配置已經完成了。
接下來我們要通過克隆master及slave1虛擬機來擴展集群。
6、生成slave1節點
通過克隆master 生成slave1節點的過程與之前克隆偽分布節點的操作是一致的這里不再贅述,唯一區別是在執行到下圖步驟時注意將虛擬機名稱設置為slave1并選擇正確的存儲位置方便管理。還有一點,被克隆的虛擬機一定要關機狀態才可以被克隆。
slave1節點與master節點在hostname、IP地址、Hadoop配置這幾個方面是有些差異的,在復制好slave1節點之后需進行配置。
6.1 配置IP地址
在前面文章中提到過slave1節點IP地址應設置為固定的值:192.168.79.12。詳細的配置方法步驟已經在配置master節點時介紹過,配置slave1節點時可以參考一下。修改完成后的配置結果如下圖所示,點擊save保存即可。
6.2、修改hostname
保存并退出
6.3、修改Hadoop配置項
hdfs-site.xml
保存并退出之后重啟slave1節點查看配置是否生效。
7、生成slave2節點
Slave2與slave1在Hadoop相關配置內容上是一致的,因此通過克隆slave1節點來生成slave2可以減少一些操作步驟。
克隆slave1節點時的操作步驟同樣參考之前文章內容,區別是執行到下圖步驟時記得更改虛擬機名稱為slave2并更改存儲目錄(存儲目錄自己定義)。
7.1、配置IP地址
克隆完成后打開slave2虛擬機并配置其IP地址。配置過程與之前配置master節點IP過程一致,只是IP地址需改為192.168.79.13結果如下圖所示,點擊save保存即可。
更改Hostname,在終端中輸入sudo vim /etc/hostname并回車執行,根據提示輸入密碼
輸入i編輯hostname文件,文件內容如下所示為slave2,然后保存退出。
重啟虛擬機測試配置是否生效,重啟命令為sudo reboot
slave2重新啟動后打開終端,輸入命令ifconfig查看IP設置及虛擬機名,如下圖所示配置已經生效。
到這里我們的hadoop集群安裝配置完成。接下來的文章我會給大家介紹一下hadoop集群如如何啟動。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25