云数据融合上次运行时间作为参数

Question

我正在创建一个 Cloud Data Fusion 管道，我需要从数据库中提取增量数据。我提取数据的查询是这样的：

SELECT * FROM TABLE WHERE updated_date >${last_pipeline_run_time}

将 last_pipeline_run_time 作为参数动态传递到数据融合管道的最佳方法是什么。如果您可以为此建议任何其他解决方法，那也会很有帮助。我暂时没有使用任何其他调度程序（如 Airflow）。

Answer 1

虽然在 Data Fusion 管道中看不到这样的参数，您可以考虑将类似的元数据存储在单独的表中，然后使用“Database Argument Setter”插件获取它。

例如，管道可以是：

“数据库参数设置器”->“数据库源”->（您的管道的其他插件）->“数据库操作”

“Database Argument Setter”是查询元数据表的时间戳并将其存储为该管道的运行时参数。

流水线末端的“数据库动作”是用该流水线最近加载的数据的时间戳更新元数据表，以便下次流水线可以从这个时间戳加载数据。