在win10的Eclipse开发环境下,访问VM虚拟机上docker镜像下的hadoop的 HDFS系统
发布日期:2021-11-15 02:11:33 浏览次数:3 分类:技术文章

本文共 1568 字,大约阅读时间需要 5 分钟。

1.首先确定在VM虚拟机上的CentOS下能ping 通 docker下的hadoop所在的主机的IP

例如: VM 192.168.10.161 ping docker下的hadoop主机的IP 172.18.0.2
2. 在WIN10系统上"管理员"进入cmd
执行 route -p add add 172.18.0.2 mask 255.255.255.0 192.168.10.161
这样就可以在 Window10 上ping 通 docker下hadoop所在机器的IP 172.18.0.2了
3. 首先下载hadoop-2.x.x 版本的Windows 10编译过的hadoop ( ,解压到任意盘符。
设置环境变量 HADOOP_HOME 指向解压的目录,将hadoop.dll 文件也同时放到
C:\Windows\System32下一份,
添加环境变 量%HADOOP_HOME%\bin; %HADOOP_HOME%\sbin;
4.在eclipse开发工具创建一个工程,需要导入操作hdfs的jar包,分别是hadoop- 2.7.2\share\hadoop\hdfs 的hadoop-hdfs-2.7.2.jar,不过该jar又依赖于hadoop-2.7.2\share\hadoop\hdfs\lib包,为了方便就全部导入了,还需要hadoop-2.7.2\share\hadoop\common下的hadoop-common-2.7.2.jar 同时该包也需要导入hadoop-2.7.2\share\hadoop\common\lib下的jar 一样全部导入。


JAVA API 访问hadoop的hdfs系统文件

try {

System.setProperty("hadoop.home.dir", "D:\\java\\hadoop-2.7.2");		  String localSrc = "D://docker.docx";		  String dst = "hdfs://172.18.0.2:9000/home/";		  InputStream in = new BufferedInputStream(new FileInputStream(localSrc));		  Configuration conf = new Configuration();		 		  FileSystem fs = FileSystem.get(URI.create(dst), conf,"root");		  OutputStream out = fs.create(new Path(dst), new Progressable() {		   public void progress() {		    System.out.print(".");		   }		  });		  IOUtils.copyBytes(in, out, 4096, true);		  System.out.println("上传文件成功!!!");			} catch (Exception e) {		// TODO Auto-generated catch block		logger.info("文件上传失败!!!");		e.printStackTrace();	}

5.解决BUG:could only be replicated to 0 nodes instead of minReplication (=1)

将虚拟机种的CentOS系统的防火墙关闭systemctl disable firewalld 永久关闭
systemctl stop firewalld 本次关闭,重启生效。

转载地址:https://blog.csdn.net/qq_28358461/article/details/88743332 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:在docker容器中安装3/N个节点的hadoop伪分布式集群
下一篇:在windows 10 系统上安装CentOS7虚拟机

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月01日 12时14分42秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

spring boot 与 Ant Design of Vue 实现新增用户(二十八) 2019-04-27
spring boot 与 Ant Design of Vue 实现修改用户(二十九) 2019-04-27
spring boot 与 Ant Design of Vue 实现删除用户(三十) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系登录的实现(三十一) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系获取用户信息的实现(三十二) 2019-04-27
Druid连接池实现自定义场景的多数据库的连接 2019-04-27
CentOs7命令行(静默)的方式安装oracle数据库 2019-04-27
基于VMware安装CentOs7的镜像 2019-04-27
PL/SQL数据库管理工具的使用 2019-04-27
带你玩转属于自己的spring-boot-starter系列(一) 2019-04-27
带你玩转属于自己自己的spring-boot-starter系列(二) 2019-04-27
带你玩转属于自己的spring-boot-starter系列(三) 2019-04-27
基于SnowFlake算法如何让分库分表中不同的ID落在同一个库的算法的实现 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分库解决方案(二) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案(一) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之关联查询解决方案(三) 2019-04-27
Linux文件管理参考 2019-04-27
FTP文件管理项目(本地云)项目日报(一) 2019-04-27
FTP文件管理项目(本地云)项目日报(二) 2019-04-27
FTP文件管理项目(本地云)项目日报(三) 2019-04-27