从 pip 下载时排除 manylinux 轮子

Question

在 $company，我们运行一个内部 pypi 服务器来保护自己免受公共 pypi 停机的影响。我们还构建了轮子以避免二进制包的安装开销。一项常见任务是从公共 pypi 导入包，这基本上归结为：

pip install --download . --no-binary :all: $PACKAGE  # download a source distribution

和

pip wheel $PACKAGE  # build a binary distribution (or use a cached version that's already on our internal pypi)

在最新的pip下，这可能会在pip wheel阶段下载/安装manylinuxwheels。由于在轮子内捆绑了 .so 文件，这些与我们在 $company 的安全要求不兼容。我们如何在避免许多 Linux 轮子的同时继续相同的工作流程？

目前我们正在降级到pip<8，但这似乎并不理想

Answer 1

解决方法

作为一种解决方法，您可以在当前工作目录中创建文件 _manylinux.py，或在 site-packages 中创建具有以下内容的文件：

manylinux1_compatible = False

这将确保在您运行命令时不会下载 manylinux1 轮子：

pip wheel -w path/to/wheeldir -f path/to/wheeldir -r requirements.txt

您实际上不需要使用两个命令pip install --download 和pip wheel，但是您可以使用上面的单个命令。 （请注意，不推荐使用 pip install --download 以支持 pip download 命令）。

我建议的命令将：

1. 检查轮子是否已经存在于path/to/wheeldir 中并且不会接触该轮子。
2. 如果在需求文件中检测到新版本（或者您可以将-r requirements.txt 替换为包和确切版本package==X.X.X）并且轮子是通用的——它将下载该轮子并将其存储到path/to/wheeldir。
3. 如果包需要编译（例如numpy，或matplotlib）——将下载源tgz，pip将构建轮子，生成的轮子将存储在path/to/wheeldir中。

我已经测试了这个解决方案，[在pypa/pip#3689 中建议。它不是我们需要的解决方案，但它是可行的，我使用它。

_manylinux.py 文件可以放在哪里？

画中画attempts to import _manylinux module。

问：Python 会在哪里寻找它？
答：Python 遵循the module search path。

因此您可以将文件放在以下位置：

1. 当前工作目录。
2. PYTHONPATH 中的路径。
3. 安装默认路径。

前两个路径很简单，但是你如何找到你的安装默认路径呢？只需运行以下命令：

python -c "import os.path as p;print(p.dirname(p.realpath(p.__file__)))"

希望，这会有所帮助。

Answer 2

对于那些寻找可安装解决方法的人，我创建了no-manylinux

用法比较简单：

# First install no-manylinux
pip install no-manylinux
# Now subsequent invocations of pip will ignore manylinux wheels
pip install ...
# To restore the original behaviour, simply `pip uninstall no-manylinux`

它通过安装_manylinux.py 文件以manylinux_compatible = False 作为内容来工作

Answer 3

在使用轮子时，您似乎只想使用源分发而不是轮子。为此，请将此 --no-use-wheel 添加到您的 pip 命令中。

在构建轮子时使用它听起来有点违反直觉，但它实际上意味着Do not Find and prefer wheel archives when searching indexes and find-links locations. 这应该强制在轮子阶段为您所依赖的任何依赖项获取远程源 dist 而不是轮子。