如何为 pyarrow 设置 libhdfs.so 的路径？答案

【问题标题】：How do i set the path of libhdfs.so for pyarrow?如何为 pyarrow 设置 libhdfs.so 的路径？
【发布时间】：2020-07-30 12:17:27
【问题描述】：

我正在尝试使用 pyarrow，但我不断收到以下错误。

ImportError: Can not find the shared library: libhdfs3.so

所以我读了一些 stackoverflow，它说我需要为 ARROW_LIBHDFS_DIR 设置环境变量。
libhdfs.so 的路径是 /usr/local/hadoop/native/
它试图在 bashrc 中设置它，但它不起作用
conda 安装似乎不起作用，即

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3

如果我得到这个将是一个很大的帮助。提前致谢。

【问题讨论】：

【解决方案1】：

确保libhdfs.so 在$HADOOP_HOME/lib/native 和$ARROW_LIBHDFS_DIR 中

使用它来检查您是否在 bash 环境中设置了变量ls $ARROW_LIBHDFS_DIR

如果没有找到文件使用 locate -l 1 libhdfs.so

将您找到的目录路径分配给 ARROW_LIBHDFS_DIR 变量，使用 ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>

【讨论】：