未加入 aws dynamicframe 数据集

Question

当从源再次发送相同的数据时，我正在寻找一种方法来避免在我的 etl 管道目标 s3 存储桶中重复。 在胶水动态帧数据集中有没有一种方法可以比较来自源的唯一键（从 s3 以 json 格式读取的数据），并且如果在从目标存储桶读取的胶水目录动态帧中找不到唯一键，则仅以镶木地板格式插入目标 s3 存储桶.

我见过联接（内部、左侧和右侧），但没有以“不在”的形式出现。

谢谢 吉特

Answer 1

这不是直截了当的。您需要读取整个目标并在键上执行left_anti 连接，其中左侧数据框是新数据，右侧是现有目标表。

有像Delta Lake 这样的开源框架，可以让您更轻松、更高效地做到这一点。