阿里云CentOs7.2搭建Hadoop2.7.3伪分布式实践
发布日期:2021-08-30 16:01:48 浏览次数:3 分类:技术文章

本文共 2389 字,大约阅读时间需要 7 分钟。

1.安装jdk1.8

ftp上传至/opt 目录下

tar -zxvf /opt/jdk-8u121-linux-x64.tar.gz -C /usr/local/复制代码

解压至user/local

配置环境

修改profile

chmod +x /etc/profile #增加执行权限
source /etc/profile #使其生效

2安装hadoop

ftp上传

解压至、usr/local

mv hadoop-2.7.3 hadoop 修改文件夹名称

配置Hadoop环境变量

最终配置文件


出现如下图即为配置成功


# vim /etc/hostname192.168.0.101​改为${yourname}编辑/etc/hosts文件,设置主机名称与IP映射关系# vi /etc/hosts192.168.0.101
 ${yourname}复制代码

配置本机免密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这个命令会产生一个公钥(~/.ssh/id_rsa.pub)和密钥(~/.ssh/id_rsa),
-t dsa:表示使用密钥的加密类型,可以为'rsa'和'dsa'
-P '':表示不需要密码登录
-f ~/.ssh/id_dsa:表示密钥存放的路径为${USER}/.ssh/id_dsa

命令2:$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将本机的公钥添加进authorized_keys中,这样允许本机通过ssh的形式免密码登录
注意使用>>,而不是>,因为如果其它主机(如A)也采用免登陆的形式登录,也可以把主机A的公钥添加到authorized_keys文件中。这样主机A就可以免登陆ssh到本机了。

1.修改hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

这个文件主要是修改java_home的位置,修改JAVA_HOME的路径为以下路径

exportJAVA_HOME=/usr/local/jdk1.8.0_121复制代码

2.修改core-site.xml

加入

    
     
     
      fs.defaultFS
     
     
      hdfs://jinkai:9000
     
    
    
    
     
      hadoop.tmp.dir
     
     
      /mysoft/hadoop/tmp
     
    ​复制代码

3.修改hdfs-site.xml

    
       
     
      dfs.replication
       
     
      1
     
    ​复制代码

4.修改mapred-site.xml

指定mr运行在yarn上

需要注意的是,并没有mapred-site.xml文件的,但是有mapred-site.xml.template

所以我们只需要将这个mapred-site.xml.template更名为mapred-site.xml即可

mv mapred-site.xml.template mapred-site.xml

5.修改yarn-site.xml

指定yarn(ResourceManager)运行的地址,以及reducer获取数据的方式

    
       
     
      yarn.resourcemanager.hostname
       
     
      jinkai
     
    
    
       
     
      yarn.nodemanager.aux-services
       
     
      mapreduce_shuffle
     
    复制代码

6.关闭防火墙

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动​

7.reboot 重启服务器

格式化 hdfs

hdfs namenode -format


出现如图即为成功

8.启动我们的dfs和yarn

运行命令:start-dfs.sh


如图即为启动成功

输入命令 jps可以查看我们运行了那些程序


接下来可以测试一下

上传一份txt文件 内容 data mining on data warehouse 至 /opt

在hdfs创建一个目录

hadoop dfs -mkdir /input


glibc库的版本,而hadoop期望是的版本不一致,所以打印警告信息 可以不管

参考这篇博客可以解决

将文本文件上传至刚创建的hdfs目录


查看文件系统中文件目录


进入jar文件目录,执行下面的指令。

hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /output


查看结果:hadoop fs -cat /output/part-r-00000

hadoop fs -rmr /output 删除存在在文件夹


转载于:https://juejin.im/post/5a742081f265da4e9c62fb97

转载地址:https://blog.csdn.net/weixin_34038652/article/details/91461038 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:前端面试每日 3+1 —— 第50天
下一篇:CSS3新样式 linear-gradient 小测试线性渐变效果

发表评论

最新留言

网站不错 人气很旺了 加油
[***.191.171.38]2022年04月18日 04时26分08秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

最新文章

如何在项目实施过程提高系统运维水平 2021-08-28
IT人员应聘建议 2021-08-28
怎么sketch画板导出html,sketch符号和导出画板 – Sketch入门UI设计教程 2021-08-28
在html中单选选择器,已选中单选按钮标签的CSS选择器 2019-06-25 13:15:30
c语言名人名言大全摘抄,数学名人名言大全摘抄 2019-06-25 13:15:29
linux常用命令kill-9,【Linux常用命令】Linux kill, killall, kill -9, 2019-06-25 13:15:28
三维浮雕软件 linux,三维立体浮雕软件下载 2019-06-25 13:15:28
matlab实现lte上行链路仿真,LTElianluji LTE系统链路级仿真,里面的程序很详尽,适合初学者。 matlab 259万源代码下载- www.pudn.com... 2019-06-25 13:15:27
java 文件校验和,Java如何为zip文件创建校验和? 2019-06-25 13:15:27
sublimerepl php,Sublime text 3实现交互环境 2019-06-25 13:15:26
centos rh php7,Centos7 安装 PHP7最新版的详细教程 2019-06-25 13:15:26
php中如何压缩数据处理,HTTP中几个压缩算法的PHP实现分析 2019-06-25 13:15:25
nginx同时配置php和python,CentOS7 下nginx与PHP的安装与配置 2019-06-25 13:15:24
php 实现贪吃蛇游戏,php编写的贪吃蛇游戏 2019-06-25 13:15:24
headerdoc2html 快速插入注释,[技巧]使用Xcode集成的HeaderDoc自动生成注释和开发文档... 2019-06-25 13:15:23
okgo 缓存html,OKGO 修改缓存数据 2019-06-25 13:15:23
html是网页的核心,网页编辑器的核心 2019-06-25 13:15:22
asp.net mvc 压缩html代码,ASP.NET MVC中使用Bundle打包压缩js和css的方法 2019-06-25 13:15:22
选项卡html怎么做管理者,如何在一个HTML页面中管理两个选项卡? 2019-06-25 13:15:21
html div调用js,在div中调用javascript函数 2019-06-25 13:15:21