如何刷新 dataprep 中的一个数据集？答案

【问题标题】：How can I refresh one dataset in dataprep?如何刷新 dataprep 中的一个数据集？
【发布时间】：2018-09-25 21:28:02
【问题描述】：

我在 Dataprep 中有一个流程，它使用 Bigquery 中的一个表，该表的架构已更改，现在如何在不影响我的 ETL 或删除我的步骤的情况下刷新初始导入。

【问题讨论】：

【解决方案1】：

据我了解，BQ 连接器的本质是在每次处理您的流程时，打开一个配方、进入一个配方、运行一个作业……GDP 总是检查数据源。如果源数据发生变化，您的 GDP 结果也会发生变化。

如果我错了，请高人指点。

最好的。

【讨论】：

【解决方案2】：

如果您的表架构发生更改，您将需要从 BigQuery 和join 重新导入该表以及更新后的表。您可以按照以下步骤进行操作：

1.在您的流程页面中，单击“添加数据集”按钮

2.在弹出的菜单中，选择“导入数据集”并选择具有更新架构的表

3.在您的食谱页面中，在当前第一步之前插入“加入数据集”步骤

4.选择刚刚导入的更新数据集，点击预览

5.在“Join Keys”选项卡下，选择“Right Outer Join”并将“Join Keys”设置为公共列。

请注意，这仅适用于数据集具有未更改的唯一 ID 列的情况。

【讨论】：