hadoop Unable to load native-hadoop library --解决
发布日期:2021-10-19 19:33:04 浏览次数:1 分类:技术文章

本文共 1088 字,大约阅读时间需要 3 分钟。

13/09/11 22:05:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

经常会出现这段代码,他可能会导致程序无法向下执行

网上对于这个问题有很错中说法

1,建立软链接

2,配置环境变量

  export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/Linux-amd64-64

3,配置JVM启动参数

-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64

4,重新编译本地库包

ant compile-native

本人经过一一尝试,最终失败

解决方案:

修改core-site配置文件

<property>

  <name>io.compression.codecs</name>
  <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
  <description>A list of the compression codec classes that can be used 
               for compression/decompression.</description>
</property>

将压缩算法替换成自己能成功允许的算法即可

替代解决方案一:

将本地文件库里的.so文件上传到分布式文件系统,在程序中显式的加载调用

替代解决方案二

在网上下载某种压缩算法,然后拷贝到hadoop/lib下,user/local/lib,hadoop native labirary中,配置好访问路径

修改core-site配置文件

将压缩算法替换成刚下载的算法

如果程序执行成功:

13/09/11 22:20:06 INFO util.NativeCodeLoader: Loaded the native-hadoop library

13/09/11 22:20:06 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

祝您好运!

转载地址:https://blog.csdn.net/u013494310/article/details/19476985 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Win7下快速搭建hadoopEclipse运行环境--方案
下一篇:DataNode数据块工作流DataXceiver

发表评论

最新留言

网站不错 人气很旺了 加油
[***.192.178.218]2024年03月26日 03时06分33秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章