如何分离机器学习项目的开发和生产需求.txt？

Question

我正在寻找更好的 AI/ML 项目代码结构。我知道cookiecutter 在那里，我真的很喜欢它。

问题是：我希望将 Jupyter Notebook 添加到项目结构中，如 cookiecutter。但是当我想部署模型并且我pip install requirements.txt 时，所有的包（包括 Jupyter Notebook 要求）都将被安装。我不喜欢它。

是否有任何项目结构，其中包括笔记本，但单独的 requirements.txt 用于分析和部署？

创建两个文件夹是否是个好主意：一个用于在 notebook 上进行分析，带有 requirements.txt，另一个用于模型部署，带有自己的 requirements.txt？

Answer 1

我想到的最佳解决方案是Poetry。 它会像 python 包一样自动创建文件夹结构。

文件夹结构

Poerty 在项目初始化时创建一个 project.toml 文件。这可以作为生产的requirement.txt文件。您可以使用命令行或编辑文件在此文件中分别添加生产和开发包。

Project.toml

它还为项目创建了单独的环境，有助于最大限度地减少与其他项目的冲突。