hadoop学习(8)—— 常见配置
发布日期:2021-10-04 02:53:38 浏览次数:5 分类:技术文章

本文共 1306 字,大约阅读时间需要 4 分钟。

总结mapreduce运行的三种模式:

1.可以运行在本地,在单机模式情况下,输入输出文件在本地系统中;
2.运行在本地,输入输出的文件在HDFS文件系统之中(开发MapReduce时,常见的一种测试BUG的方式);
3.运行在分布式资源管理系统YARN之上,输入输出的文件存放在HDFS文件系统中。

一个Hadoop伪分布式环境中,服务组件,基本的配置:

这里写图片描述
HDFS: NameNode(管理文件系统元数据)
DataNode(实际存储数据)
SecondaryNameNode(辅助NameNode进行工作)
YARN: ResourceManager(管理整个集群的资源)
NodeManager(管理每个节点的资源)
MapReduce: JobHistoryServer(管理监控MapReduce历史服务运行状态)

启动关闭各服务顺序:HDFS->YARN->MapReduce

命令:

[root@hadoop-yarn hadoop-2.6.5]# sbin/hadoop-daemon.sh start namenode/datanode/secondarynode[root@hadoop-yarn hadoop-2.6.5]# sbin/yarn-daemon.sh start resourcemanager/nodemanager[root@hadoop-yarn hadoop-2.6.5]# sbin/mr-jobhistory-daemon.sh start historyserver

配置hdfs不检查权限

hdfs-site.xml

dfs.permissions
false

配置web监控HDFS文件系统的用户名

这里写图片描述
core-site.xml

The user name to filter as, on static web filters while rendering content. An example use is the HDFS web UI (user to be used for browsing files).
hadoop.http.staticuser.user
dr.who

以在YARN上运行MapReduce应用为例:

1.当应用在YARN上运行时,每个应用都有一个Application Master进行管理和监控,通过WEB UI界面,点击APP MSTR进行监控应用运行。
2.当运行完成时(成功、失败、kill),如果是MapReduce应用的话,通过JobHistoryServer进行查看应用的运行历史状态。

可以监控:

- Node状况
- MapReduce Application状况
- Container分配

转载地址:https://blog.csdn.net/leifeng_001/article/details/70195271 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:hadoop学习(9)—— 启动方式
下一篇:openvSwtich学习(2)—— 网络基础知识

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年03月07日 09时13分19秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

script执行php文件_php命令行(cli)下执行PHP脚本文件的相对路径的问题解决方法... 2019-04-21
apache 2.4 php5.4_apache2.4+php5.4+my sql 5.6,网站经常无故不能访问 2019-04-21
php apc.dll下载,PHP之APC缓存详细介绍 apc模块安装 2019-04-21
html贝塞尔曲线在线,贝塞尔曲线的一些事情_html/css_WEB-ITnose 2019-04-21
java blockingqueue源码_Java并发队列BlockingQueue实现之ArrayBlockingQueue源码分析 2019-04-21
Java前台显示近20天的东西_第十次课:前台首页设计及显示商品信息 2019-04-21
java开发web网站的路由设计_理解Web路由(浅谈前后端路由与前后端渲染) 2019-04-21
excel如何把顺序倒过来_在excel中怎么使文字颠倒顺序反过来显示呢? 2019-04-21
java 62进制 转换_序列号生成的另一种玩法--62进制如何玩? 2019-04-21
php正则表达式获取图片路径,php 常用正则表达式实例(图片地址,与指定内容获取)... 2019-04-21
脚本语言php是什么意思,PHP脚本语言 2019-04-21
matlab数学规划模型,数学规划模型 2019-04-21
视频提取音频php,如何提取视频中的音频,从视频文件中提取出音频输出成MP3格式... 2019-04-21
diy.php添加验证码,织梦dedecms自定义表单中加入验证码 2019-04-21
在php脚本中 通过可以获取,在PHP中,可以使用Unix时间戳获取精确的脚本执行时间。... 2019-04-21
s2-045 php exp,S2-045-EXP.py --Struts2任意代码执行漏洞 (S2-045,CVE-2017-5638) 2019-04-21
linux sdk 窗口句柄,Venus: 针对Linux平台上,对常用的系统API进行面向对象的封装SDK。... 2019-04-21
c语言程序设计 科学出版社习题答案,C语言程序设计(科学出版社)第4章 课后习题参考答案.doc... 2019-04-21
c语言 无错 但只运行一半,求哈夫曼编码时程序运行到一半就终止了,编译无错... 2019-04-21
deepin linux 2014安装,2014.2版本的Deepin虚拟机安装浅谈(就是深度Linux) 2019-04-21