使用 pig 脚本查找不匹配的记录

Question

在我的 POC 中，我正在尝试使用 pig 脚本实现 ETL 数据流（星型模式），众所周知，在加载到事实表之前，我想加载维度。在维度中，我只需要从源（csv 文件）加载新记录，我的意思是维度（sql server）中不存在的记录。 pig 中的所有连接（倾斜、复制和合并连接）都在尝试匹配现有记录并仅生成匹配的记录。您能告诉我如何将不匹配的记录作为输出以加载到我的维度中吗？

谢谢 塞尔瓦姆

Answer 1

源（csv 文件）与维度（sql server）表的左外连接。连接列为空的结果记录是新记录。然后过滤掉join列值为null的记录。