【问题标题】:Python apache beam dataflow worker-startup error: Failed to install packages: failed to install SDK: exit status 2Python apache beam dataflow worker-startup 错误:安装包失败:安装 SDK 失败:退出状态 2
【发布时间】:2018-05-26 12:09:23
【问题描述】:

看之前:

RuntimeError: IOError: [Errno 2] No such file or directory:
'/beam-temp-andrew_mini_vocab-..../......andrew_mini_vocab' [while running .....]

在我的 apache beam python 数据流作业中,我看到记录了这个错误:

A setup error was detected in __. Please refer to the worker-startup
log for detailed information. `

我找到了worker启动日志,Payload错误是:

Failed to install packages: failed to install SDK: exit status 2

该错误不够具体,我无法调试。对未加载哪些 SDK 有任何见解吗?我的工作导入非常基础:

from __future__ import absolute_import
from __future__ import division
import argparse
import logging
import re
import apache_beam as beam
from apache_beam.io import WriteToText
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import SetupOptions
from apache_beam.pvalue import AsDict

【问题讨论】:

  • 您是如何安装梁的?只是通过点子?
  • 我遇到了子进程的退出状态 2,它通过将 pip 更新到大于 7 的版本来解决,原因是在该版本之前不支持 no-binary 选项,该版本在 apache beam 的 python sdk 中使用
  • @Andrew Cassidy - Anuj 的回答有帮助吗?

标签: python python-2.7 google-cloud-platform google-cloud-dataflow apache-beam


【解决方案1】:

使用pip -V 检查您的pip 版本,并尝试更新它。

如果这没有帮助,请对问题发表评论:)

【讨论】:

    【解决方案2】:

    你能分享一下 setup.py 文件吗?我有类似的问题,使用 setup.py 文件解决了。

    【讨论】:

    • 请在您的回答中提供更多详细信息。正如目前所写的那样,很难理解您的解决方案。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-09-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多