Apache Beam Python 字数统计示例因 BeamIOError 导致 Flink Runner 失败答案

【问题标题】：Apache Beam Python word count example is failing for Flink Runner with BeamIOErrorApache Beam Python 字数统计示例因 BeamIOError 导致 Flink Runner 失败
【发布时间】：2019-05-09 00:23:53
【问题描述】：

我正在尝试使用 PortableRunner 通过 Docker 使用 SDK 线束/作业服务器在 Apache 的 Flink 上运行 Apache Beam Python 字数统计示例。

使用 ./gradlew -p sdks/python/container docker 构建 SDK 线束容器。但是当对创建的图像执行 docker pull 时，会出现以下错误：

使用默认标签：latest 来自守护程序的错误响应：获取 https://$userId-docker- apache.bintray.io/v2/： x509：证书对 *.bintray.io、bintray.io 有效，而不是 $userId-docker- apache.bintray.io
使用./gradlew beam-runners-flink_2.11-job-server:runShadow成功启动了Flink可移植Jobservice端点。

但是当尝试使用以下命令和 PortableRunner 运行 wordcount 示例时，

python -m apache_beam.examples.wordcount --input=local_input_file --output=local_output_file --job_endpoint=localhost:8099 --experiments beam_fn_api --runner=PortableRunner

它给出了以下错误：

IOError as “RuntimeError: IOError: [Errno 2] No such file or 目录： '/beam-temp-output-b6d55cb671ef11e9be2f025000000001/3ce015aa-78ee-4bfa-be17-120de259e690.output' [在运行'write/Write/WriteImpl/FinalizeWrite'时]”

使用 DirectRunner 而不是 PortableRunner 运行可以让它正常工作！任何关于我如何通过 Docker 获得与 PortableRunner 一起工作的字数的提示都表示赞赏。

【问题讨论】：

标签： python apache-flink apache-beam

【解决方案1】：

您是否尝试指定存储库名称并从那里提取？（通过使用-Pdocker-repository-root）

类似这样的：

"./gradlew -Pdocker-repository-root=gcr.io/SOME_NAME_HERE -p sdks/go/container docker"

【讨论】：

【解决方案2】：

我刚刚遇到了同样的问题。试试这个：

./gradlew docker