Python setuptools/pip 将数据文件打包到你的包中

Question

我有这个 git repo 结构：

.gitignore
JSONs/subdirA/some.json
JSONs/subdirB/other.json
MyPackage/__init__.py
MyPackage/myModule.py

如何正确地将JSONs文件夹打包到MyPackage/JSONs中，而不是将其永久移动到那里（主要是因为客户直接将此git repo用于非python使用，并且repo顶部的文件夹很容易/直观...但是现在我也想将相同的目录发布到我的 PyPi 包中）？

我尝试将其添加到MANIFEST.in，然后在setup.py 和package_data 中使用data_files...但无济于事。也许一些 .pyc 或缓存的构建文件对我来说是最好的......但我还没有从所有其他（不完全）重复的问题中弄清楚，因为它们没有专门调出它们的目录结构和所需的最终位置。

我尝试在调用setup 之前使用os.walk 和shutil.copy，然后在setup 之后删除该目录...虽然它似乎在本地工作，但在推送到我们的本地devpi 包服务器时，出了点问题。我的目标完全脱离了 setuptools/pip 理想的雷达吗？？？还是我只是缺少一些关键的理解？请赐教！

Answer 1

以下内容可能会有所帮助：

首先，我们需要确保将 json 文件添加到 源分发。

MANIFEST.in:

recursive-include JSONs *.json

然后在实际的 setup 脚本中，必须动态修改 包 列表以考虑目标包结构。

setup.py:

#!/usr/bin/env python3

import setuptools

PACKAGES = (
    setuptools.find_packages(exclude=['JSONs*'])
    +
    [
        f'MyPackage.{package}'
        for package
        in setuptools.find_namespace_packages(include=['JSONs*'])
    ]
)

setuptools.setup(
    packages=PACKAGES,
    package_dir={
        'MyPackage.JSONs': 'JSONs',
    },
    include_package_data=True,
    #
    name='Something',
    version='1.2.3',
)

JSONs/subdirA/some.json :

{"Marco": "Polo"}

这样的包数据可以这样读取：

MyPackage/myModule.py:

import pkgutil

print(pkgutil.get_data('MyPackage', 'JSONs/subdirA/some.json').decode())

并像下面这样使用它：

$ python -m pip install .
$ # Move to another directory to prevent that the current working directory
$ # ... overshadows the installed project
$ cd ..
$ python -m MyPackage.myModule
{"Marco": "Polo"}