在 Google Composer 上运行的 Airflow 网络服务器在哪里？答案

【问题标题】：Where is Airflow webserver running on Google Composer?在 Google Composer 上运行的 Airflow 网络服务器在哪里？
【发布时间】：2019-05-14 17:28:07
【问题描述】：

我有以下豆荚：

NAME                                                        READY     STATUS      RESTARTS   AGE
airflow-database-init-job-ggk95                             0/1       Completed   0          3h
airflow-redis-0                                             1/1       Running     0          3h
airflow-scheduler-7594cd584-mlfrt                           2/2       Running     9          3h
airflow-sqlproxy-74f64b8b97-csl8h                           1/1       Running     0          3h
airflow-worker-5fcd4fffff-7w2sg                             2/2       Running     0          3h
airflow-worker-5fcd4fffff-m44bs                             2/2       Running     0          3h
airflow-worker-5fcd4fffff-mm55s                             2/2       Running     0          3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-ktwwt   0/1       Completed   0          3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-nmjvw   0/1       Error       0          3h
composer-agent-d043348f-025a-4aa1-89b4-d4a5fae91653-8zdwk   0/1       Completed   0          3h
composer-fluentd-daemon-grwsp                               1/1       Running     0          3h
composer-fluentd-daemon-rxhjc                               1/1       Running     0          3h
composer-fluentd-daemon-xxrmr                               1/1       Running     0          3h

我不知道其中哪些是网络服务器 pod。 airflow-worker 可能不是网络服务器，对吧？我想戳它看看它是否工作正常，因为它似乎没有。

【问题讨论】：

标签： google-cloud-platform airflow google-cloud-composer

【解决方案1】：

如有关 Cloud Composer's architecture 的文档中所述，Airflow 网络服务器在 App Engine 柔性环境中运行，该环境托管在用户无权访问的 Google 管理的租户项目中。

很遗憾，Webserver 日志没有转发到 Composer 的主项目（即你的项目），虽然有an open Feature Request in the Public Issue Tracker，所以请随意点击星形图标并评论它，以便让 Composer 工程知道关于此功能的重要性以及您的用例。因此，如果您认为您对网络服务器本身有任何其他类似的问题，我建议您向contact support（如果您有资格这样做）或在the corresponding Public Issue Tracker 中打开一个问题，以便您的问题可以由GCP 支持团队。

如果您想了解更多有关 Airflow Webserver 的信息，您也可以在其documentation page 中找到一些其他信息。

【讨论】：

我正在尝试调试此问题：stackoverflow.com/q/41560614/816449（或此：stackoverflow.com/q/51218314/816449）不知道从哪里继续。当我进行数据存储查询时似乎会发生这种情况。
根据我的经验，当 DAG 在 Airflow 网络服务器中不可点击时，这是因为处理 DAG（而不是执行）失败，例如权限问题、代码等。无论如何，鉴于此问题专门针对在哪里可以找到 Web 服务器，而不是关于您遇到的问题，我建议您为您的问题创建一个新帖子，提供有关您的方案和你得到的错误。另外，我认为也可以通过我提到的渠道联系支持人员。

【解决方案2】：

关于 Airflow Webserver 的日志 - 这些日志在 Stackdriver 日志记录中可见。

导航到 GCP 菜单 -> 日志记录 -> 日志查看器
如果您使用的是经典 Stackdriver UI，请在“资源”下拉列表中选择“Cloud Composer 环境”，然后在第二个下拉列表中选择“airflow-webserver”，如picture 所示
如果您使用的是新的 Stackdriver 菜单，请将以下查询放入查询框中：

query:resource.type="cloud_composer_environment"

logName="projects/<your project name>/logs/airflow-webserver"

...你会得到airflow-webserver生成的日志。

【讨论】：