MapReduce配置
发布日期:2021-06-29 12:30:37 浏览次数:2 分类:技术文章

本文共 1133 字,大约阅读时间需要 3 分钟。

1、修改 mapred-site.xml进入 cd /home/xm/hadoop/etc/hadoop/ls查看是否有该文件如果没有,却有mapred-site.xml.templete文件则重命名为 mapred-site.xml即可vim  mapred-site.xml
修改如下:
mapreduce.framework.name
yarn
2、修改yarn-site.xml文件vim /home/xm/hadoop/etc/hadoop/yarn-site.xml
修改如下:
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
<--可不加
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8025
yarn.resourcemanager.address
master:8040
-->
启动$ start-dfs.sh$ start-yarn.sh或者直接$ start-all.sh然后$ jps查看
如果显示如下:2608 FsShell6832 Jps5910 NameNode6413 ResourceManager6253 SecondaryNameNode6062 DataNode我们发现没有NodeManager那么将上面的可不加删去即可(自制端口去掉即可)
然后发现:xm@master:~$ jps2608 FsShell10212 Jps9268 NameNode9611 SecondaryNameNode9900 NodeManager9420 DataNode9773 ResourceManager成功!

转载地址:https://bupt-xbz.blog.csdn.net/article/details/79179221 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:MapReduce编写框架
下一篇:java与hadoop序列化与反序列化的比较

发表评论

最新留言

网站不错 人气很旺了 加油
[***.192.178.218]2024年04月06日 22时11分30秒