【问题标题】:How to install my custom python package with its custom dependencies?如何安装我的自定义 python 包及其自定义依赖项?
【发布时间】:2019-11-02 16:44:18
【问题描述】:

我想找到一种方法来安装我自己的依赖于其他自定义 python 包的 python 包。

我按照本指南创建了自己的 python 包:https://python-packaging.readthedocs.iao/en/latest/

对于所有包,最小结构是:

myOwnPackage/
    myOwnPackage/
        __init__.py
    setup.py

现在,我创建了一个依赖于其他自定义包的包。它的结构是:

myOwnPackage/
    dependencies/
        packageA
        packageB
    myOwnPackage/
        __init__.py
    setup.py

我的问题是:如何使用 pip 轻松安装 myOwnPackage 及其自定义依赖项?

对于上面的例子,我想在调用 pip 时安装 myOwnPackage、packageA 和 packageB:pip install myOwnPackage

我没有找到在 setup.py 中包含依赖项名称的方法,就像我可以为 numpy、pyqt5 等官方 python 包所做的那样。

我找到了一种方法来部分解决我的问题,方法是使用带有 pip 的 requirements.txt:

pip install -r requirements.txt myOwnPackage

这是我编写需求文件的方式:

./dependencies/packageA
./dependencies/packageB

我工作得很好,但当我有这样的递归依赖时就不行了:

myOwnPackage/
    dependencies/
        packageA/
            dependencies/
                packageC
            packageA/
                __init__.py
            setup.py
            requirements.txt
        packageB
    myOwnPackage/
        __init__.py
    setup.py
    requirements.txt

带有顶层 requirements.txt 的 pip 将安装 myOwnPackage、packageA 和 packageB,但它不知道它必须安装 packageC,这是 packageA 的依赖项。

有什么想法吗?

【问题讨论】:

  • 如何提供这些软件包?它们是发布到 pypi 还是类似的服务?您可以将install_requires 参数用于setup。如果包在 pypi 上不可用,您仍然可以将它们声明为依赖项,如 here 所述。但是,如果这些是单独的包,那么将它们列在其他包的包目录中(而不是彼此相邻)会感觉有点奇怪。
  • 有关我的结构的更多详细信息: - 这些包未发布到 pypi - 每个自定义包都是一个 gitlab 存储库 - 每个依赖包都设置为子模块 我无法在 install_requires 选项中设置本地路径.如果我使用 gitlab url 设置 dependency_links 选项(带有允许下载的令牌),也许它可以工作。
  • 我很确定您可以在 dependency_links 中设置本地 URL,例如 file:///path/to/dist
  • 它适用于单个文件,但不适用于目录(我没有找到目录的具体方案)。并且默认情况下会忽略dependency_links。我们需要调用--process-dependency-links,但它已在最新版本的 pip 中被删除。

标签: python pip package


【解决方案1】:

我几乎解决了我的问题。

我需要使用以下命令构建每个依赖项:python setup.py sdist 以创建单个包文件 (tar.gz)

然后,我可以在顶级包 setup.py 中调用它们:

...
dependency_links=["file:/local/path/myOwnPackage/dependencies/packageA/dist/packageA-0.1.tar.gz"],
install_requires=["packageA"],
...

最后,我运行以下命令来安装 myOwnPackage 及其本地依赖项:

pip install . --process-dependency-links

如果所有 repo 都按照上述描述正确构建和设置,它将安装所有递归依赖项。

--process-dependency-links 已在 pip 的上一版本中删除...

【讨论】:

  • 你可以将这些东西放在requirements.txt 中,然后使用它来构建和安装你的依赖项(参见this part of the docs)。 pip 不会自动发现它,但它只是普通的pip install ... 之前的pip install -r requirements.txt。我认为出于安全原因,他们禁用了非 pypi 资源的自动安装。如果你想从外部源安装,你必须明确地这样做(例如通过requirements.txt)。
  • 我目前使用 requirements.txt 来安装我的父包及其所有依赖项。但它不是递归的。递归 requirements.txt 不会被自动发现。我可以像这样调用依赖包的 requirements.txt:-r ./dependencies/yregmap/requirements.txt 但这种方式不适用于依赖包的 requirements.txt,因为路径是相对于我调用命令的文件夹pip install -r requirements.txt .
  • 这就是为什么,目前,我必须将所有自定义包(父包和所有依赖级别的所有包)的所有递归依赖项复制到父包的依赖文件夹中,并从需求中调用它们.txt。
猜你喜欢
  • 2022-11-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-04-12
  • 2021-04-27
  • 2020-03-23
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多