Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/input
发布日期:2021-06-29 12:30:28 浏览次数:2 分类:技术文章

本文共 1390 字,大约阅读时间需要 4 分钟。

在进行将本地文件合并成大文件然后传输到HDFS文件的过程中出现以下问题

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/input, expected: file:///    at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:646)    at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:82)    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:513)    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:499)    at org.apache.hadoop.fs.ChecksumFileSystem.mkdirs(ChecksumFileSystem.java:594)    at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:448)    at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:435)    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:909)    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:890)    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:787)    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:776)    at hdfs.HDFSFileMeger.fileMeger(HDFSFileMeger.java:34)    at hdfs.HDFSFileMeger.main(HDFSFileMeger.java:56)

解决方法

把hadoop集群上的core-site.xml和hdfs-site.xml放到工程的src目录下即可

转载地址:https://bupt-xbz.blog.csdn.net/article/details/79168643 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:本地文件合并后传至HDFS文件
下一篇:HDFS常用Shell操作

发表评论

最新留言

路过,博主的博客真漂亮。。
[***.116.15.85]2024年04月18日 04时55分39秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

移植 RT-Thread Nano 到 RISC-V 2019-04-29
软件包应用分享|基于RT-Thread的百度语音识别(二) 2019-04-29
在 RT-Thread Nano 上添加控制台与 FinSH 2019-04-29
一站式开发工具:RT-Thread Studio 正式发布 2019-04-29
留言有礼|谢谢你悄悄点了小星星,让我们跃居GitHub RTOS Star榜第一 2019-04-29
功能更新!C 函数也能在 MicroPython 中被调用啦 2019-04-29
东软载波携ES32+RT-Thread走进海尔集团 2019-04-29
今晚8点直播预告:RT-Thread Studio等相关主题答疑 2019-04-29
Linux内核在中国大发展的黄金十年-写于中国Linux存储、内存管理和文件系统峰会十周年之际... 2019-04-29
物联网 20 年简史大揭秘! 2019-04-29
开源项目|RT-Thread 软件包应用作品:水墨屏桌面台历 2019-04-29
珠联璧合!基于i.MX RT和RT-Thread的物联网云接入方案 2019-04-29
基于RTT-MicroPython制作自带BGM的新型肺炎晴雨表 2019-04-29
Arm宣布推出Cortex-M55核心和Ethos-U55 microNPU,瞄准低功耗Edge AI 2019-04-29
开源项目|RT-Thread 软件包应用作品:小闹钟 2019-04-29
在 RT-Thread Studio 上使用 RT-Thread Nano 2019-04-29
开源项目|软件包应用作品:通用物联网系统平台 2019-04-29
【经验分享】RT-Thread UART设备驱动框架初体验(中断方式接收带\r\n的数据) 2019-04-29
单片机里面的CPU使用率是什么鬼? 2019-04-29
推荐一个优质Linux技术公众号-作者都是一线Linux代码贡献者们哦 2019-04-29