gcloud beta 数据流缺少有关参数的文档

Question

当我尝试运行以下命令时：

gcloud beta dataflow jobs run $JOB_NAME \
--region $GCP_REGION \
--gcs-location gs://dataflow-templates/latest/PubSub_to_BigQuery \
--network $VPC_NAME \
--subnetwork regions/$GCP_REGION/subnetworks/$VPC_SUBNETWORK \
--staging-location gs://$GCP_PROJECT_ID-assoc-history-dataflow \
--worker-machine-type n1-standard-1 \
--parameters \
"inputTopic=$INPUT_TOPIC,\
outputTableSpec=$OUTPUT_SPEC,\ 
javascriptTextTransformGcsPath=$UDF_LOCATION,\
javascriptTextTransformFunctionName=myFunctionName"

gcloud 给我以下错误：

错误：（gcloud.beta.dataflow.jobs.run）INVALID_ARGUMENT：模板 参数无效。 -“@type”：type.googleapis.com/google.dataflow.v1beta3.InvalidTemplateParameters 参数违规： - 描述：无法识别的参数 参数：|- \ javascriptTextTransformGcsPath

根据当前文档（https://cloud.google.com/dataflow/docs/guides/templates/provided-utilities），参数中似乎提供了javascriptTextTransformGcsPath。我正在使用 beta gcloud sdk 来指定我的 VPC 和子网。是否有关于 JavaScript udf 参数如何更改的文档的链接，或者是否有另一种方法来指定它？

Answer 1

这是因为您在参数中使用了引号（“）。您可以查看文档。有示例：

gcloud dataflow jobs run JOB_NAME \
--gcs-location gs://dataflow-templates/latest/Bulk_Decompress_GCS_Files \
--parameters \
inputFilePattern=gs://YOUR_BUCKET_NAME/compressed/*.gz,\
outputDirectory=gs://YOUR_BUCKET_NAME/decompressed,\
outputFailureFile=OUTPUT_FAILURE_FILE_PATH

只需删除它，它应该可以工作。