【问题标题】:Retrieve list of external C/Fortran dependencies for Python libraries within a virtualenv检索 virtualenv 中 Python 库的外部 C/Fortran 依赖项列表
【发布时间】:2015-12-18 08:48:42
【问题描述】:

我正在维护一个项目,该项目使用了许多 Python 库,例如 numpypandasnetcdf4,它们具有 libhdf5、ATLAS、LAPACK 等依赖项。我之前通过以下方式安装了这些库在使用 pip 安装之前我的系统包管理器。现在需要列出所有需要的依赖项,包括 C/Fortran 依赖项。 (当然,使用pip freezepipdeptree,Python 非常简单)有什么方法可以显示正在使用哪些链接的 C/Fortran 库?如果做不到这一点,有没有办法显示使用 C 依赖项的 Python 库的构建选项?

编辑:this answer 详细说明了如何为 numpy 以及可能通过 ldd 具有 C 依赖关系的其他库执行此操作。全面推荐的方法是什么?

【问题讨论】:

  • 依赖于什么?在你的包管理器中?还是在哪里?

标签: python c dependencies fortran virtualenv


【解决方案1】:

在 Linux 系统上,您可以获得动态链接器来转储各种调试信息,您可以从中收集此类信息(请参阅ld.so(8))。例如,我有一个名为 plot_all 的 python 程序,如果我调用它:

LD_DEBUG=libs plot_all 2> ld-libs-output

然后动态链接器会将其所有库文件信息输出到文件ld-libs-output。这将包含该文件运行的每个动态库依赖项。如果进一步处理,例如:

grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs

您将获得在执行 python 脚本过程中加载的所有唯一库的排序列表。如果您想将其转换为依赖信息,您可以使用您的分发工具将文件映射到包。在 Gentoo 上,我可以使用如下命令查询拥有这些库的包:

 equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq

此命令的输出是所有包的排序列表,这些包至少拥有一个在我的脚本执行期间动态加载的库:

app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm

这个列表非常冗长,你可以看到它引入了相当深的依赖包,远远超出了我们真正需要的和一些依赖于环境的包(例如,对 nvidia-drivers 的依赖不适用于没有 nvidia 显卡的人)。要将其变成有用的列表,您必须查看依赖关系图并且仅依赖于顶级包,因为它们会隐式地拉入它们下面的包。分析这些包的第一级依赖关系,可以将它们全部拉入,最小列表如下:

dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc

然后,我将对我的 python 包中的任何其他脚本重复此操作,并将所有信息合并到我的包的主依赖项列表中。


这应该让您了解用于发现 Python 脚本所依赖的发行包的一般工作流程。在我的情况下,python 外部的所有 C/Fortran 依赖项都是由发行版 python 包引入的,但是这个过程会发现任何其他需要的顶级包。需要将工作流修改为您的发行版工具,以将文件与包匹配并分析依赖关系。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-03-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多