在 Centos7 下使用 Docker 快速搭建 Hadoop 集群
发布日期:2021-06-30 16:51:07
浏览次数:2
分类:技术文章
本文共 1291 字,大约阅读时间需要 4 分钟。
一、前言
按传统方法,能否在服务器上,能否成功搭建 hadoop 集群,取决于配置是否配置成功
在习惯优于配置的时代,已然过时 使用 docker 技术,零配置,10 秒内轻松搭建 hadoop 集群 本文图文并茂,轻松阅读无障碍二、环境搭建
主要使用的镜像:
阿里云镜像的,云服务器若也是阿里云的,拉去的速度将十分惊人2.1.拉取镜像
docker pull registry.aliyuncs.com/kaibb/hadoop
可以使用
docker images
查看镜像是否存在 2.2.启动容器
docker run -itd --name hadoop -h hadoop -P registry.aliyuncs.com/kaibb/hadoop
先使用
docker ps
查看端口映射,后面要在网页访问 DFS、YARN
要分别用到 50070、8088
端口的映射!! 使用 docker ps -a
查看各个容器运行的状态 2.3.进入容器
docker exec -it hadoop bash
2.4.格式化 namenode
在任何目录下运行 hadoop 命令都可以
hadoop namenode -format
输出了一堆很长的日志。。。
2.5.运行 DFS
start-dfs.sh
中间输入两个 yes,不要输入错误 ~
之后可以使用jps
查看节点 访问
(① 改120.79.197.130为你的服务器ip、② 改32802为你的 50070映射端口、③ 云服务器注意开启安全组) 进入如下页面,说明一切顺利2.6.运行 YARN
start-yarn.sh
之后可以再次使用
jps
查看新节点 访问 进入如下页面,说明一切顺利
(① 改120.79.197.130为你的服务器ip、② 改32807为你的 8088 映射端口、③ 云服务器注意开启安全组)三、其他操作
3.1.更换目录
cd /opt/tools/hadoop
3.2.创建文件夹
hdfs dfs -mkdir -p /user/kaibb/input
可以使用
hdfs dfs -ls /user/kaibb
查看刚刚创建的目录 3.3.复制文件至dfs文件目录中
hdfs dfs -put /opt/tools/hadoop/etc/hadoop/* /user/kaibb/input
可以使用
hdfs dfs -ls /user/kaibb/input
查看 dfs文件目录下的内容 也可以在网页直接查看,点击红色框中的内容: 如下: 3.4.运行示例程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /user/kaibb/input output 'dfs[a-z.]+'
在 YARN 中可以看到运行成功的两个应用:
3.5.查看结果、节点
hdfs dfs -cat output/*
jps
四、MapReduce
测试程序:
转载地址:https://larger5.blog.csdn.net/article/details/81153699 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
做的很好,不错不错
[***.243.131.199]2024年04月26日 15时23分03秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
邮箱怎么发邮件,邮件发信量多少,职场新人怎么发汇报邮件呢?
2019-04-30
maven 多层次pom 新引入包,编译成功,还是没有将包引入到本地
2019-04-30
leetCode2 两数相加
2019-04-30
【工具使用】使用pip与conda安装、更新与卸载Pytorch和torchvision
2019-04-30
【工具使用】Google免费云环境Colaboratory使用
2019-04-30
【深度学习笔记】卷积层,全连接层,池化层的相关输出参数计算
2019-04-30
【NLP学习笔记】文本分类概述
2019-04-30
【深度学习笔记】文本分类
2019-04-30
【转载】炼丹实验室:深度学习网络调参技巧
2019-04-30
【论文阅读笔记】文本分类论文汇总
2019-04-30
【NLP学习笔记】One-hot encoding:独热编码
2019-04-30
【工具使用】CSDN编辑器markdown字体、颜色与字号的设置
2019-04-30
【NLP学习笔记】词共现矩阵
2019-04-30
【NLP学习笔记】NLP基础知识框架图
2019-04-30
【深度学习笔记】卷积的输入输出的通道、维度或尺寸变化过程
2019-04-30
【NLP学习笔记】训练集、验证集和测试集的概念及划分
2019-04-30