Eclipse下配置hadoop环境
发布日期:2021-09-30 23:31:51 浏览次数:0 分类:技术文章

hadoop集群搭建完成后,每次开发完map/reduce程序后,需要用打包,上传数据等步骤,然后命令行输入hadoop jar...等方式来运行,非常繁琐,用hadoop-eclipse插件能非常方便的进行开发的同时进行测试。

第一步:

在hadoop发行包里去找到eclipse下的插件,例如.../hadoop-0.20.2/contrib/eclipse-plugin/目录下的hadoop-0.20.2-eclipse-plugin.jar,将此插件拷贝到eclipse/plugins目录内,关闭eclipse后重启。

第二步:

在eclipse内,选择Windows->Open Perspective,选择那个有小象图标的Map/Reduce,

第三步:

点击小象图标,右键选择新建一个hadoop location,开始配置参数:

其中Host:可以填写localhost或者说本地IP地址,Port为hadoop集群的jobtracker的端口号,另外在advance选项里去检查一下各个参数,只关心namenode或者说是jobtracker相关的配置项,我的集群使用的是8020和8021。保存配置,点击第一张图中左边树结构的小象,能够浏览hadoop集群上的目录文件信息,则配置成功,如下图

第四步:配置hadoop的本地目录Windows->preferences,选择本地目录,保存即可

第五步:开发一个新工程测试一下:

然后分别建Mapper类和Reducer类,但是有版本问题,我建出来的类使用的是mapred包,而不是新版本推荐使用的mapreduce包,可以完全自己写类,不用图上的Mapper向导和Reducer向导。

第六步:类开发完成后在hadoop上运行,选择Run as->Hadoop后没有反应,不知道怎么回事,不知道是插件为什么不工作了,

选择Run as->run configurations...

以Java application方式运行,在program arguments里填写Main函数里需要的参数,将VM heap space扩大一些,之后运行,O了。

上一篇:C#操作Excel文件(读取Excel,写入Excel)
下一篇:ubuntu MySQL访问时出现ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using