Google 云上 dataproc gui 版本中的 Hadoop 作业错误

Question

我正在尝试使用 org.apache.hadoop.examples.WordCount 创建 wordcount 作业，但它显示错误：

我正在附上我的工作配置的图像以及我的存储桶中的文件在哪里（我使用的是存储桶而不是 hdfs）

使用的作业配置：

文件存储在桶中：

hadoop-mapreduce-examples.jar 的 URI：

我使用上述配置时遇到的错误：

作业输出： 驱动程序输出文件：

Answer 1

问题在于，默认情况下 Hadoop 不会写入现有路径，除非特别要求“覆盖”模式。你有两个选择：

• 在运行示例之前删除输出路径
• 每次运行使用另一个输出路径

一般来说，作业的输出可以在 Google Cloud 控制台中找到 - 查找 Dataproc 下的“作业”页面，或集群页面下的“作业”标签。此外，如此处所述，输出将保存到 GCS，您可以随时从那里检索它。