【发布时间】:2021-04-04 11:11:03
【问题描述】:
在How to run DBT in airflow without copying our repo 上构建我的问题,我目前正在运行气流并通过 git 同步 dag。我正在考虑在我的工作流程中包含 DBT 的不同选项。 louis_guitton 的一个建议是将 DBT 项目 Docker 化,并通过 Docker Operator 在 Airflow 中运行它。
我之前没有在 Airflow 或 DBT 中使用 Docker Operator 的经验。我想知道是否有人尝试过或可以提供一些关于他们结合该工作流程的经验的见解,我的主要问题是:
- DBT 作为一个整体项目应该作为一个 Docker 容器运行,还是应该分解? (例如:测试是否作为独立于 dbt 任务的容器运行?)
- 通过 Docker Operator 运行时,来自 DBT 的日志和 UI 是否可访问和/或仍然有用?
- 如何运行部分管道? (例如:只想运行管道的一部分)
【问题讨论】: