eclipse接入hadoop-2.7.6集群(hadoop2.x版本通用),含免费资源
发布日期:2021-07-26 07:20:50 浏览次数:9 分类:技术文章

本文共 1021 字,大约阅读时间需要 3 分钟。

资源:

hadoop-2.7.6.tar.gz和hadoop-2.7.6-src.tar.gz:

链接:https://pan.baidu.com/s/1gONNnDkRhZYpk9Aob1_ckA 提取码:hedm 

 

winutils-master:

链接:https://pan.baidu.com/s/1iHVIA_R8sZEuDk-SiTQ42A  提取码:02vl 

 

hadoop-eclipse-plugin-2.6.0.jar:

链接:https://pan.baidu.com/s/1AU3pqpAqMiDEJdoccFikyw  提取码:fp0l 

 

一、准备集群环境

    准备一个集群,可以是三节点的完全分布式集群,有需要搭建的可以参考博客地址:

 

二、确认本地可访问集群master:50070

    三节点:master    192.168.81.128

                   slave1    192.168.81.129

                   slave2    192.168.81.130

 

三、准备eclipse

    1.eclipse装入插件hadoop-eclipse-plugin-2.6.0

       在eclipse安装路径下..\eclipse\plugins,将插件复制进去,然后重新打开eclipse。安装成功后,eclipse出现下述界面

    2.打开window--->preferences

      出现Hadoop Map/Reduce,将hadoop-2.7.6.tar.gz解压到window路径下

3.打开window--->show view,输入map,选中点击Ok

4.接入hadoop,在空白区域右键--->new hadoop location...

5.成功接入后显示如下界面

 

6.此时最重要一步,如果不解决会有很多错误信息,如执行工具丢失或者hadoop.dll版本不匹配

 

7.打开winutils-master,选中相近的hadoop版本,这里选用hadoop-2.7.1

8.将hadoop-2.7.1下面的bin目录整个复制,去替换我们hadoop-2.7.6的bin目录即可,然后还需要将hadoop.dll文件拷贝一份到C:\Windows\System32下即可,重启电脑。

 

自己搭建浪费了挺长时间,整理了一些方法和问题,解决后也将一些有用的资源归纳整理,还请大家下载后,点赞评论,让更多有需要学习hadoop的人可以免费的获取到开源的资源!!!

 

编写mr测试:

 

 

转载地址:https://blog.csdn.net/qq_38741971/article/details/88876815 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:编写MapReduce程序,实现WordCount
下一篇:python 3.5.2 下载(带资源免费)

发表评论

最新留言

很好
[***.229.124.182]2024年03月28日 02时26分24秒