如何在 Python 中使用 Setuptools 正确打包项目？

Question

这是我的目录树：

prediction_model
├─ prediction_model
|  ├─ __init__.py
|  ├─ data
|  |  ├─ SAAA.csv
|  |  └─ VDFF.csv
|  ├─ models.py
|  ├─ preprocess.py
|  ├─ README.md
|  └─ tests
└─ setup.py

这是我的“setup.py”：

from setuptools import find_packages, setup

setup(
    name='prediction_model',
    version='0.7',
    url='https://project.org/',
    author='JL',
    author_email='jl@project.org',
    packages=find_packages(),
    scripts=['models.py', 'preprocess.py']
)

这是我的“__init__.py”：

from prediction_model import models
from prediction_model import preprocess

‘models.py’有一个函数main，‘preprocess.py’有一个我想使用的函数run。

我使用以下方式安装项目：

python -m pip install --user .

然后我在 Python 解释器中运行以下代码，但它引发了异常 AttributeError：

>>> import prediction_model
>>> prediction_model.src.main()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'prediction_model' has no attribute 'src'
>>> prediction_model.src.run()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'prediction_model' has no attribute 'src'

>>> import prediction_model
>>> prediction_model.main()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'prediction_model' has no attribute 'main'
>>> prediction_model.run()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'prediction_model' has no attribute 'run'

我做错了什么？

环境：Python 3.7、MacOS。

Answer 1

设置

最好的做法是使用 src 布局（参见https://blog.ionelmc.ro/2014/05/25/python-packaging/），所以我建议你像这样组织你的目录（因为你不应该打包'tests'目录和' README.rst' 文件用于构建分发，它们位于 'src' 目录之外）：

project
├─ src
|  └─ package
|     ├─ __init__.py
|     ├─ __main__.py
|     ├─ data.tsv
|     └─ module.py
├─ tests
|  └─ test_module.py
├─ MANIFEST.in
├─ README.rst
└─ setup.py

具有以下“setup.py”文件内容：

import setuptools

setuptools.setup(
    name="project name",
    version="project version",
    url="project URI",
    author="your name",
    author_email="your email",
    package_dir={"": "src"},
    packages=setuptools.find_namespace_packages(where="src"),
    include_package_data=True
)

以及以下“MANIFEST.in”文件内容：

graft src
graft tests
global-exclude *.py[cod]

备注。——如果你不想在你的 'src' 目录中有一个顶级的 'package' 目录，同时保留 'src' 目录（就像你的帖子编辑之前一样）： p>

project
├─ src
|  ├─ __init__.py
|  ├─ __main__.py
|  ├─ data.tsv
|  └─ module.py
├─ tests
|  └─ test_module.py
├─ MANIFEST.in
├─ README.rst
└─ setup.py

然后将"package" 映射到package_dir 参数中的"src"，并在setup.py 文件中setuptools.setup 函数的packages 参数中显式列出"package"（参见https://docs.python.org/3/distutils/examples.html#pure-python-distribution-by-package）：

import setuptools

setuptools.setup(
    name="project name",
    version="project version",
    url="project URI",
    author="your name",
    author_email="your email",
    package_dir={"package": "src"},
    packages=["package"],
    include_package_data=True
)

包

现在您可以使用以下命令将项目打包到 source 发行版中：

python setup.py sdist

或使用此命令的构建发行版（这是setuptools 的扩展命令，要求在您的Python 环境中安装wheel - 所以之前运行pip install wheel）：

python setup.py bdist_wheel

或两者都用这个命令：

python setup.py sdist bdist_wheel

在新的dist 目录中创建以下文件：

• “{项目名称}-{项目版本}.tar.gz”用于源代码分发；
• '{project name}-{project version}-{compatibility tags}.whl' 用于构建发行版。

安装

现在您可以使用以下命令从源代码分发版安装项目：

pip install dist/{project name}-{project version}.tar.gz

或使用此命令从构建的发行版中：

pip install dist/{project name}-{project version}-{compatibility tags}.whl

或使用此命令从项目树中（无需为此打包项目）：

pip install .

运行

最终你可以像这样导入你的项目：

import package.module

package.module.function()

Answer 2

通常的项目结构：（长话短说，您想要一个带有您项目名称的目录，以便 setup.py 获取它，这是通常的方式，看看几个 repos，例如https://github.com/boto/boto3）。

-- setup.py
-- README.md
--- prediction_model
    |-- __init__.py
    |-- data
    |   |-- VDFF.csv
    |   +-- SAAA.csv
    |-- models.py
    |-- preprocess.py
    |-- tests
    +-- _data.csv

然后你想做这样的事情：

virtualenv myvirtualenv 
source myvirtualenv/bin/activate
python setup.py install

您的设置看起来不错，现在 prediction_model 是一个您也可以更改的包：

from . import preprocess
from . import models

到

from prediction_model import preprocess
from prediction_model import models

正常设置.py

from setuptools import setup, find_packages

setup(
    name='cost_estimation',
    version='0.0.1',
    packages=find_packages(),
    url='http://github.com/<WHATEVER/WHATEVER>',
    install_requires=[
        'numpy',
    ],
    tests_require=[
         'nosetests',
    ],
    test_suite='nose.collector',
    license='',
    dependency_links=[
        'http://YOURPRIVATEPYPISERVER/packages'
    ],

    keywords='models, prediction',
    author='your name',
    description='Model prediction cool stuff'
)