【问题标题】:Airflow: How to setup log directory?Airflow:如何设置日志目录?
【发布时间】:2018-11-15 08:56:09
【问题描述】:

我将 dag 文件上传到网页,当我点击 'Graph View' -> ${my_dag} -> 'View Log' 时,它显示:

*** Log file isn't local.
*** Fetching here: http://:8793/log/demo_dag/hello_task/2018-11-14T15:06:00
*** Failed to fetch log file from worker.

*** Reading remote logs...
*** Unsupported remote log location.

我检查了airflow.cfg 并找到了这些配置信息:

worker_log_server_port = 8793
base_log_folder = /root/airflow/logs

我的问题是:

  1. 如何设置日志服务的IP地址(只设置端口)?
  2. 我有日志服务的设置目录,为什么还是去/log/..

感谢任何帮助。

【问题讨论】:

  • /log中登录的文件路径是什么?
  • 嘿@joeb 感谢您的回复。日志文件路径为/root/airflow/logs(如配置文件中),但此路径具有完全权限(777)。
  • /log 目录中您所说的包含 Airflow 日志消息的文件的路径是什么?
  • @joeb 感谢您的回复。路径为/root/airflow/logs,如配置文件所示。
  • 在你的第二个问题“我有日志服务的设置目录,为什么它仍然转到/log/..” - 您看到的/log/.. 中文件的完整路径是什么?包含气流记录?

标签: airflow airflow-scheduler


【解决方案1】:

当手动更改任务状态(可能通过“标记成功”选项)并且任务从未在记录中收到 hostname 值时,可能会发生这种情况。

网络服务器正在尝试访问没有名称的服务器,以获取从未运行过的任务的日志。

PS:小心以root 用户身份运行进程。

【讨论】:

  • 我认为我没有更改任务状态。实际上,所有任务都在继续运行并且从未完成。我正在寻找原因,但日志不可用。
  • 您正在查看的任务的状态是什么?
【解决方案2】:

我一直收到此错误,请通过更正套接字卷路径来修复它:

WARNING - OSError while attempting to symlink the latest log directory

在 Windows 中,音量将带有这样的双条:

volumes:
  - //var/run/docker.sock:/var/run/docker.sock

Bind to docker socket on Windows

Setting up Airflow to run with Docker Swarm’s orchestration

【讨论】:

    猜你喜欢
    • 2023-03-10
    • 1970-01-01
    • 2012-09-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多