气流的轻量级替代品？ [关闭]

Question

我有深度学习模型，我需要将其部署在不可扩展的服务器上，并且我正在使用 airflow 2.0 进行推理。但正如我们所知，气流是资源密集型的。所以我只想问一下，在我用于管道的 python 中是否有任何轻量级的气流替代方案，或者我可以在这种情况下使用的任何其他解决方案。

或者我有什么方法可以使用 python、celery、redis 等编写一些气流功能。

任何建议都会很棒。

谢谢

Answer 1

Prefect 是一个不错的选择。它内置了 airflow 所具有的许多功能，您可以以一种更不受限制的方式定义 DAG。您还可以考虑使用 DVC 来控制数据版本并更好地管理管道。这是一个可以帮助您入门的好博客：https://medium.com/towards-data-science/create-a-maintainable-data-pipeline-with-prefect-and-dvc-1d691ea5bcea