【问题标题】:ValueError: unsupported pickle protocol: 5 while running jobs in AirflowValueError:不支持的pickle协议:在Airflow中运行作业时为5
【发布时间】:2023-03-30 18:18:01
【问题描述】:

我们已经在 Linux 服务器上安装了 Airflow 2.1.3 版本,worker 也可以在同一服务器上使用,当我们尝试运行它说的作业时

Error: ValueError: unsupported pickle protocol: 5

airflow.exceptions.AirflowException: Celery command failed on host ******

任务级日志:

*** Failed to fetch log file from worker. The request to ':///' is missing either

目前使用 Python 3.6.8 版本。

有什么办法可以解决这个问题。

【问题讨论】:

  • 你试过在单独的机器上运行 celery worker 吗?
  • @floating_hammer 是的,我已经尝试过并且运行良好。你的意思是单独的机器意味着单独的python版本或单独的操作系统或单独的主机?
  • 可能我并不清楚单独的物理主机。
  • @floating_hammer .. 是的,我已经尝试过了,它的工作原理。但是当我尝试使用 Python3.6.8 时它不起作用:(
  • 你需要那个版本的python有什么特别的原因吗??

标签: celery airflow airflow-scheduler


【解决方案1】:

我正在使用 k8s,我遇到了同样的问题。 就我而言,问题是因为 python 版本是 3.7。 所以,我将我的标签版本从 2.2.3 更改为 2.2.3-python3.8 并且它可以工作

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-06-14
    • 2020-11-29
    • 2017-10-01
    • 2016-11-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多