熱線電話:13121318867

登錄
首頁精彩閱讀Hadoop:偽分布模式參數配置指南
Hadoop:偽分布模式參數配置指南
2020-06-04
收藏

Hadoop通過改變其配置文件來更改運行模式,我們通過修改如下四個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以偽分布模式運行。

Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value的方式來實現。接下來讓我們開始進行hadoop的配置吧,配置之前首先啟動Ubuntu虛擬機,然后打開Xshell軟件并連接登錄虛擬機。

1、設置hadoop-env.sh配置文件

首先,我們需要修改hadoop運行相關的sh文件,以保證hadoop運行過程中能夠正常使用其他軟件或組件的功能,此處一般而言只需將JAVA功能添加在內既可。

cd ~/hadoop/etc/hadoop # 進入hadoop配置文件夾 vim hadoop-env.sh

在彈出的框體中輸入i進入輸入模式,此時可以編輯hadoop-env.sh了。

將JAVA路徑寫入到文件,只需修改

為如下代碼

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc進入命令模式再輸入:wq保存文件并退出。

注:后面編輯文件的操作有將不再反復贅述編輯器打開關閉過程,只對需要更改、編輯的內容進行說明。

2、配置core-site.xml文件

首先是core-site.xml,文件,該文件決定Hadoop core組件部分運行模式,在命令行中輸入開始編輯文件

vim core-site.xml

在彈出的框體中輸入i,然后配置如下內容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

編輯完成內容如下

3、配置hdfs-site.xml文件

hdfs-site.xml將決定hdfs的部分運行情況,在命令行中輸入

vim hdfs-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用于設置監控Map與Reduce程序的JobTracker任務分配情況以及運行情況。hadoop這里只提供了模板,可先復制再編輯,在命令行中輸入

cp mapred-site.xml.template mapred-site.xml # 復制模板 vim mapred-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中輸入

vim yarn-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

偽分布模式的配置內容就這里,下篇文章我們介紹如何啟動單節點集群。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢