阿里云CentOs7.2搭建Hadoop2.7.3伪分布式实践
发布日期:2021-08-30 16:01:48 浏览次数:14 分类:技术文章

本文共 2345 字,大约阅读时间需要 7 分钟。

1.安装jdk1.8

ftp上传至/opt 目录下

tar -zxvf /opt/jdk-8u121-linux-x64.tar.gz -C /usr/local/复制代码

解压至user/local

配置环境

修改profile

chmod +x /etc/profile #增加执行权限

source /etc/profile #使其生效

2安装hadoop

ftp上传

解压至、usr/local

mv hadoop-2.7.3 hadoop 修改文件夹名称

配置Hadoop环境变量

最终配置文件

出现如下图即为配置成功

# vim /etc/hostname192.168.0.101​改为${yourname}编辑/etc/hosts文件,设置主机名称与IP映射关系# vi /etc/hosts192.168.0.101     ${yourname}复制代码

配置本机免密码登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这个命令会产生一个公钥(~/.ssh/id_rsa.pub)和密钥(~/.ssh/id_rsa),
-t dsa:表示使用密钥的加密类型,可以为'rsa'和'dsa'
-P '':表示不需要密码登录
-f ~/.ssh/id_dsa:表示密钥存放的路径为${USER}/.ssh/id_dsa
命令2:$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将本机的公钥添加进authorized_keys中,这样允许本机通过ssh的形式免密码登录
注意使用>>,而不是>,因为如果其它主机(如A)也采用免登陆的形式登录,也可以把主机A的公钥添加到authorized_keys文件中。这样主机A就可以免登陆ssh到本机了。

1.修改hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

这个文件主要是修改java_home的位置,修改JAVA_HOME的路径为以下路径

exportJAVA_HOME=/usr/local/jdk1.8.0_121复制代码

2.修改core-site.xml

加入

fs.defaultFS
hdfs://jinkai:9000
hadoop.tmp.dir
/mysoft/hadoop/tmp
​复制代码

3.修改hdfs-site.xml

dfs.replication
1
​复制代码

4.修改mapred-site.xml

指定mr运行在yarn上

需要注意的是,并没有mapred-site.xml文件的,但是有mapred-site.xml.template

所以我们只需要将这个mapred-site.xml.template更名为mapred-site.xml即可

mv mapred-site.xml.template mapred-site.xml

5.修改yarn-site.xml

指定yarn(ResourceManager)运行的地址,以及reducer获取数据的方式

yarn.resourcemanager.hostname
jinkai
yarn.nodemanager.aux-services
mapreduce_shuffle
复制代码

6.关闭防火墙

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动​

7.reboot 重启服务器

格式化 hdfs

hdfs namenode -format

出现如图即为成功

8.启动我们的dfs和yarn

运行命令:start-dfs.sh

如图即为启动成功

输入命令 jps可以查看我们运行了那些程序

接下来可以测试一下

上传一份txt文件 内容 data mining on data warehouse 至 /opt

在hdfs创建一个目录

hadoop dfs -mkdir /input

glibc库的版本,而hadoop期望是的版本不一致,所以打印警告信息 可以不管

参考这篇博客可以解决

将文本文件上传至刚创建的hdfs目录

查看文件系统中文件目录

进入jar文件目录,执行下面的指令。

hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /output

查看结果:hadoop fs -cat /output/part-r-00000

hadoop fs -rmr /output 删除存在在文件夹

转载于:https://juejin.im/post/5a742081f265da4e9c62fb97

转载地址:https://blog.csdn.net/weixin_34038652/article/details/91461038 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:前端面试每日 3+1 —— 第50天
下一篇:CSS3新样式 linear-gradient 小测试线性渐变效果

发表评论

最新留言

关注你微信了!
[***.104.42.241]2024年03月27日 23时37分30秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

mysql 更新数据 字符串_批量替换 MySQL 指定字段中的字符串 2019-04-21
web开发 mysql安装_mysqlinstallerwebcommunity5.7.21.0.msi安装图文教程 2019-04-21
mysql concat 整数型_MySQL 数字类型转换函数(concat/cast) 2019-04-21
mysql单元格函数是_MySQL常用内置函数 2019-04-21
mysql 怎么字段分裂_你可以分裂/爆炸MySQL查询中的字段吗? 2019-04-21
mysql server卸载出错_Mysql卸载问题Start Server卡住报错解决方法 2019-04-21
全国省市区 mysql_2017全国省市区数据库【含三款数据库】 2019-04-21
druid加载MySQL驱动原理_你好,想知道mybatis+druid+jdbc 原理介绍? 2019-04-21
mysql 怎样链接jdbc_jdbc怎么链接mysql数据库 2019-04-21
mysql学生课程表试题_Mysql练习之 学生表、课程表 、教师表、成绩表 50道练习题... 2019-04-21
java exec封装_Java 执行系统命令工具类(commons-exec) 2019-04-21
php sha512解密,PHP加密函数 sha256 sha512 sha256_file() sha512_file() 2019-04-21
php将文件夹打包zip文件,PHP把文件夹打包成ZIP文件 2019-04-21
mysql in 逗号分隔,使用MySQL IN()从逗号分隔的值中获取记录? 2019-04-21
php静态页面示例,php生成静态页面的简单示例_php实例 2019-04-21
迭代函数系统matlab实现,线性随机IFS迭代Matlab示例程序.doc 2019-04-21
w3wp ash oracle,[20200409]使用ash_wait_chains注意的一个细节.txt 2019-04-21
c语言程序设计教程谭浩强张基温,C语言程序设计教程(第2版) 2019-04-21
idea xml文件引入类提示_IDEA中导入多module的Maven项目后子项目不正常的情况 2019-04-21
太赫兹芯片是什么原理_什么是太赫兹技术?艾舒朗太赫兹理疗鞋——脑梗后遗症+便秘+久站腿疼腿肿案例... 2019-04-21