将 spark-r 作业添加到 dataproc 工作流模板

Question

我尝试以两种不同的方式将spark-r 作业步骤添加到我的工作流模板中。

使用 gcloud 命令：

gcloud beta dataproc workflow-templates add-job spark-r gs://path/to/script.R \
    --step-id=<stepid> --workflow-template=<templateid>

或者通过导入 YAML 定义：

jobs:
- sparkRJob:
    mainRFileUri: gs://path/to/script.R
  stepId: <stepid>
placement:
  managedCluster:
    clusterName: cluster-sparkr
    config:
      gceClusterConfig:
        zoneUri: europe-west4-b
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 4

但是两种方式都会导致以下错误：

INVALID_ARGUMENT：作业“”必须提供作业定义

这让我对我到底错过了什么感到有些困惑。

Answer 1

我已经测试了你的 YAML 定义，它对我有用：

gcloud beta dataproc workflow-templates instantiate-from-file --file <definition.yaml>

此外，使用 gcloud 命令成功创建了包含 Spark R 作业的工作流模板：

gcloud beta dataproc workflow-templates create my-test-wf-01
gcloud beta dataproc workflow-templates add-job spark-r gs://path/to/script.R \
    --step-id=my-test-step-id --workflow-template=my-test-wf-01

上面第二条命令的输出：

createTime: '2019-04-15T16:49:06.346Z'
id: my-test-wf-01
jobs:
- sparkRJob:
    mainRFileUri: gs://path/to/script.R
  stepId: my-test-step-id