在win10的Eclipse开发环境下,访问VM虚拟机上docker镜像下的hadoop的 HDFS系统
发布日期:2021-11-15 02:11:33
浏览次数:3
分类:技术文章
本文共 1568 字,大约阅读时间需要 5 分钟。
1.首先确定在VM虚拟机上的CentOS下能ping 通 docker下的hadoop所在的主机的IP
例如: VM 192.168.10.161 ping docker下的hadoop主机的IP 172.18.0.2 2. 在WIN10系统上"管理员"进入cmd 执行 route -p add add 172.18.0.2 mask 255.255.255.0 192.168.10.161 这样就可以在 Window10 上ping 通 docker下hadoop所在机器的IP 172.18.0.2了 3. 首先下载hadoop-2.x.x 版本的Windows 10编译过的hadoop ( ,解压到任意盘符。 设置环境变量 HADOOP_HOME 指向解压的目录,将hadoop.dll 文件也同时放到 C:\Windows\System32下一份, 添加环境变 量%HADOOP_HOME%\bin; %HADOOP_HOME%\sbin; 4.在eclipse开发工具创建一个工程,需要导入操作hdfs的jar包,分别是hadoop- 2.7.2\share\hadoop\hdfs 的hadoop-hdfs-2.7.2.jar,不过该jar又依赖于hadoop-2.7.2\share\hadoop\hdfs\lib包,为了方便就全部导入了,还需要hadoop-2.7.2\share\hadoop\common下的hadoop-common-2.7.2.jar 同时该包也需要导入hadoop-2.7.2\share\hadoop\common\lib下的jar 一样全部导入。JAVA API 访问hadoop的hdfs系统文件
try {System.setProperty("hadoop.home.dir", "D:\\java\\hadoop-2.7.2"); String localSrc = "D://docker.docx"; String dst = "hdfs://172.18.0.2:9000/home/"; InputStream in = new BufferedInputStream(new FileInputStream(localSrc)); Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(dst), conf,"root"); OutputStream out = fs.create(new Path(dst), new Progressable() { public void progress() { System.out.print("."); } }); IOUtils.copyBytes(in, out, 4096, true); System.out.println("上传文件成功!!!"); } catch (Exception e) { // TODO Auto-generated catch block logger.info("文件上传失败!!!"); e.printStackTrace(); }
5.解决BUG:could only be replicated to 0 nodes instead of minReplication (=1)
将虚拟机种的CentOS系统的防火墙关闭systemctl disable firewalld 永久关闭 systemctl stop firewalld 本次关闭,重启生效。转载地址:https://blog.csdn.net/qq_28358461/article/details/88743332 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月01日 12时14分42秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
spring boot 与 Ant Design of Vue 实现新增用户(二十八)
2019-04-27
spring boot 与 Ant Design of Vue 实现修改用户(二十九)
2019-04-27
spring boot 与 Ant Design of Vue 实现删除用户(三十)
2019-04-27
Druid连接池实现自定义场景的多数据库的连接
2019-04-27
CentOs7命令行(静默)的方式安装oracle数据库
2019-04-27
基于VMware安装CentOs7的镜像
2019-04-27
PL/SQL数据库管理工具的使用
2019-04-27
带你玩转属于自己的spring-boot-starter系列(一)
2019-04-27
带你玩转属于自己自己的spring-boot-starter系列(二)
2019-04-27
带你玩转属于自己的spring-boot-starter系列(三)
2019-04-27
基于SnowFlake算法如何让分库分表中不同的ID落在同一个库的算法的实现
2019-04-27
Linux文件管理参考
2019-04-27
FTP文件管理项目(本地云)项目日报(一)
2019-04-27
FTP文件管理项目(本地云)项目日报(二)
2019-04-27
FTP文件管理项目(本地云)项目日报(三)
2019-04-27