【问题标题】:airflow ui log error after deploying on kubernetes while using celery workers在使用 celery 工作者时在 kubernetes 上部署后的气流 ui 日志错误
【发布时间】:2020-06-19 10:47:27
【问题描述】:

在 kubernetes 集群上部署 BITNAMI HELM chart for AIRFLOW 后,尽管一切正常,但日志仍然无法访问。

原来用于部署的 helm chat 正在使用无头服务在 celery 工人之间进行通信,并且无法向我显示日志。

我已经正确设置了 hostname_callable 设置,但是,LOGS 总是选择 HEADLESS SERVICE 的名称作为其主机名,而不是 DNS 名称。

*** Log file does not exist: /opt/bitnami/airflow/logs/secondone/s3files/2020-06-19T10:35:00+00:00/1.log
*** Fetching from: http://mypr-afw-worker-1.mypr-afw-headless.mynamespace.svc.cluster.local:8793/log/secondone/s3files/2020-06-19T10:35:00+00:00/1.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='mypr-afw-worker-1.mypr-afw-headless.mynamespace.svc.cluster.local', port=8793): Max retries exceeded with url: /log/secondone/s3files/2020-06-19T10:35:00+00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f12917f5630>: Failed to establish a new connection: [Errno 111] Connection refused',))

在这方面的任何帮助将不胜感激!谢谢!

【问题讨论】:

    标签: kubernetes celery airflow kubernetes-helm bitnami


    【解决方案1】:

    你是如何设置主机名的,看来你需要将它们作为数组传递:

    ## The list of hostnames to be covered with this ingress record.
    ## Most likely this will be just one host, but in the event more hosts are needed, this is an array
    ##
    hosts:
      - name: airflow.local
        path: /
    

    helm install 命令中的--set ingress.hosts[0].name=airflow.local --set ingress.hosts[0].path=/

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-06-15
      • 1970-01-01
      • 2023-03-22
      相关资源
      最近更新 更多