数据融合 - 不将 bigquery 参数设置器值传递给下一个节点答案

【问题标题】：Data Fusion- Not passing bigquery argument setter value to next node数据融合 - 不将 bigquery 参数设置器值传递给下一个节点
【发布时间】：2022-07-28 04:25:04
【问题描述】：

我正在开发一个管道，在该管道中我使用 Bigquery 参数设置器从 bigquery 表中设置“最后完成”的值，并将其作为过滤条件传递给下一个节点中的源（bigquery 表）。

我尝试通过将运行时参数值保持空白来运行管道，因为它应该由 bigquery 参数设置器在运行时提供，但我收到了错误消息 '参数'last_completion'未定义'

我在源节点的过滤条件是日期 > DATE(${last_completion})

【问题讨论】：

您的问题不清楚，需要支持信息。请更详细地描述您面临的问题，添加详细信息、打印、环境描述和预期行为。

标签： google-cloud-data-fusion

【解决方案1】：

我有一个批处理文件处理管道，它应该将文件从源 GCS 存储桶加载到 BigQuery 表并存档已成功加载的文件。 See pipeline here

GCS 移动操作需要源文件和目标文件路径，但我只会在运行时知道确切的源文件名。我尝试使用 javascript 操作使用 context.getArguments().set('file.name', input.filename) 设置宏值，然后在 GCS 移动操作的“源”字段中 - 我使用 gs://gs-bucket-name/${file.name} 但不知何故它仍然失败。有没有更好的方法来解决这个问题？或者有没有一种方法可以让我在运行时可视化宏值所持有的内容（以帮助调试 - 比如说在预览中）

【讨论】：