本文共 1088 字,大约阅读时间需要 3 分钟。
13/09/11 22:05:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
经常会出现这段代码,他可能会导致程序无法向下执行
网上对于这个问题有很错中说法
1,建立软链接
2,配置环境变量
export
3,配置JVM启动参数
-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64
4,重新编译本地库包
ant compile-native
本人经过一一尝试,最终失败
解决方案:
修改core-site配置文件
<property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value> <description>A list of the compression codec classes that can be used for compression/decompression.</description> </property>
将压缩算法替换成自己能成功允许的算法即可
替代解决方案一:
将本地文件库里的.so文件上传到分布式文件系统,在程序中显式的加载调用
替代解决方案二
在网上下载某种压缩算法,然后拷贝到hadoop/lib下,user/local/lib,hadoop native labirary中,配置好访问路径
修改core-site配置文件
将压缩算法替换成刚下载的算法
如果程序执行成功:
13/09/11 22:20:06 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/09/11 22:20:06 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library祝您好运!
转载地址:https://blog.csdn.net/u013494310/article/details/19476985 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!