WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

参考了网上很多办法,不行。

这个警告总觉得不爽。。

最近部署SPARK时,顺带解决了。

URL参考如下“

http://www.mak-blog.com/spark-on-yarn-setup-multinode.html

 

 

一,通常编译好的hadoop库是在lib中,如果你不想编译,可以用lib/native里面的预编译库,然后把native的库移动到lib文件夹中。

cp hadoop-2.6.0/lib/native/* hadoop-2.6.0/lib/

二,加入系统变量

export HADOOP_COMMON_LIB_NATIVE_DIR=/home/administrator/work/hadoop-2.6.0/lib/native

export HADOOP_OPTS="-Djava.library.path=/home/administrator/work/hadoop-2.6.0/lib"

export HADOOP_ROOT_LOGGER=DEBUG,console

终于:搞定。

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-07-04
  • 2021-04-20
  • 2021-10-26
  • 2022-12-23
  • 2021-09-08
  • 2021-06-06
猜你喜欢
  • 2021-09-18
  • 2022-02-11
  • 2022-12-23
  • 2021-10-03
  • 2021-06-20
  • 2021-11-25
相关资源
相似解决方案