Slack 与 Cloud Composer 的集成 - 损坏的 DAG 没有名为“slackclient”的模块

Question

我们在将 Slack 与 Cloud Composer 集成时遇到问题。 SlackAPIPostOperator 有 slackclient 依赖，我们直接安装在工作节点上，使用如下：

sudo python3 -m pip install apache-airflow[slack]

这将安装 slack 1.3.2。

我们不得不在工作节点上安装，因为 Cloud composer UI 上的 pypi 包安装选项反复超时。

模块导入语句在工作节点上运行良好。但是，composer 仍然报告损坏的 DAG 并显示错误消息：Broken DAG: [/home/airflow/gcs/dags/composer-slack-test.py] No module named 'slackclient'

Composer 版本为：composer-1.16.0-airflow-1.10.15

感谢任何帮助。

谢谢！

Answer 1

如果包安装超时，则可能意味着 Cloud Composer 尝试构建工作器/调度器映像时存在包冲突。要解决此问题，您应该在更新操作超时后查看构建日志，并查找 pip check 的输出。在那里，您将能够确定哪些软件包由于版本限制而无法安装。

安装在工作程序节点上的软件包将无法从工作流中访问，因为 Airflow 工作程序/调度程序作为 Kubernetes pod 运行。您不应手动将软件包安装到节点或工作程序/调度程序 pod 上，因为它们可以随时更换。