在我的本地机器上，我创建了一个 virtualenv 并安装了 Airflow。当 dag 或插件需要 python 库时，我将其 pip 安装到同一个 virtualenv 中。
如何跟踪哪些库属于 dag，哪些库用于气流本身？我最近删除了一个 dag，并想删除它正在使用的库。这非常耗时，而且我正在交叉手指，我没有删除另一个 dag 正在使用的东西！
【问题讨论】：
标签： airflow google-cloud-composer
特别是对于较大的 Airflow 用例，我建议使用 Airflow 作为在不同抽象层上编排任务的一种方式，这样您就不会从 Airflow 端管理依赖项。
我建议您查看 DockerOperator 或 KubernetesPodOperator。有了这些，您可以将 Python 任务构建到 Docker 容器中，并让 Airflow 运行这些任务。这样你就不需要在 Airflow 中管理 Python 依赖项，也不会遇到两个 DAG 依赖项冲突的灾难场景。但是，这确实要求您具备管理 Kubernetes 集群的知识。
【讨论】：
在Dags 中使用PythonOperator 时可能会看到airflow.operators.python_operator.PythonVirtualenvOperator。
使用VirtualenvOperator 代替PythonOperator 将Dag 的依赖关系隔离到Virtualenv，您可以保留单独的需求文件。
您可以在需求文件中使用 cmets 来标记 Dag 的依赖关系例如
package-one # Dag1.
...当您删除 Dag 时，使用 DAG 名称 grep 要求，卸载然后删除这些行。
通过这种方式，当您为 DAG 安装包时，您需要一个过程来注释您的需求文件中的 Dag 名称。您可以编写一个脚本来执行此操作。
【讨论】：