Eclipse下配置hadoop环境
发布日期:2021-09-30 23:31:51 浏览次数:27 分类:技术文章

本文共 911 字,大约阅读时间需要 3 分钟。

hadoop集群搭建完成后,每次开发完map/reduce程序后,需要用打包,上传数据等步骤,然后命令行输入hadoop jar...等方式来运行,非常繁琐,用hadoop-eclipse插件能非常方便的进行开发的同时进行测试。

第一步:

在hadoop发行包里去找到eclipse下的插件,例如.../hadoop-0.20.2/contrib/eclipse-plugin/目录下的hadoop-0.20.2-eclipse-plugin.jar,将此插件拷贝到eclipse/plugins目录内,关闭eclipse后重启。

第二步:

在eclipse内,选择Windows->Open Perspective,选择那个有小象图标的Map/Reduce,

第三步:

点击小象图标,右键选择新建一个hadoop location,开始配置参数:

其中Host:可以填写localhost或者说本地IP地址,Port为hadoop集群的jobtracker的端口号,另外在advance选项里去检查一下各个参数,只关心namenode或者说是jobtracker相关的配置项,我的集群使用的是8020和8021。保存配置,点击第一张图中左边树结构的小象,能够浏览hadoop集群上的目录文件信息,则配置成功,如下图

第四步:配置hadoop的本地目录Windows->preferences,选择本地目录,保存即可

第五步:开发一个新工程测试一下:

然后分别建Mapper类和Reducer类,但是有版本问题,我建出来的类使用的是mapred包,而不是新版本推荐使用的mapreduce包,可以完全自己写类,不用图上的Mapper向导和Reducer向导。

第六步:类开发完成后在hadoop上运行,选择Run as->Hadoop后没有反应,不知道怎么回事,不知道是插件为什么不工作了,

选择Run as->run configurations...

以Java application方式运行,在program arguments里填写Main函数里需要的参数,将VM heap space扩大一些,之后运行,O了。

转载地址:https://blog.csdn.net/iteye_14736/article/details/82034185 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:C#操作Excel文件(读取Excel,写入Excel)
下一篇:ubuntu MySQL访问时出现ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using

发表评论

最新留言

初次前来,多多关照!
[***.217.46.12]2024年04月11日 01时12分21秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

C++核心准则C.50:如果在构造过程中需要“虚行为”,使用工厂函数 2019-04-28
C++核心准则C.51:使用委托构造函数实现所有构造函数的共通动作 2019-04-28
C++核心准则C.52:合理使用继承的构造函数 2019-04-28
C++核心准则C.60: 拷贝赋值运算符应该是以const&为参数,返回非常量引用类型的非虚函数 2019-04-28
C++核心准则C.61:拷贝操作应该具有拷贝的效果 2019-04-28
C++核心准则C.62:保证拷贝赋值对自我赋值安全 2019-04-28
C++核心准则C.63:保证移动赋值运算符为非虚函数,参数类型为右值引用,返回值为常量引用类型 2019-04-28
C++核心准则C.64:移动操作在完成移动之后,移动源对象应该保持有效状态 2019-04-28
C++核心准则C.65:让移动操作对自赋值安全 2019-04-28
C++核心准则C.121:如果基类被用来定义接口,保证它是一个纯虚类 2019-04-28
C++核心准则C.122:需要完全隔离接口和实现时用抽象类作为接口 2019-04-28
C++核心准则C.126:抽象类通常不需要构造函数 2019-04-28
C++核心准则C.127:包含虚函数的类应该有虚析构函数或保护析构函数 2019-04-28
C++核心准则ES.55: 尽量不造成范围检查需求 2019-04-28
C++核心准则ES.60:避免在资源管理函数之外使用new和delete 2019-04-28
C++核心准则ES.61:使用delete[]销毁数组,使用delete销毁对象 2019-04-28
C++核心准则ES.62:不要比较不同数组中的元素地址 2019-04-28
C++核心准则ES.63:不要分割处理对象 2019-04-28
在Ubuntu20.04环境中构建C++20开发环境(GCC11) 2019-04-28
C++20新特性简介-Concepts 2019-04-28