【问题标题】：How to keep a unique set of keys with an incremental transformation in Palantir Foundry?如何在 Palantir Foundry 中通过增量转换来保留一组唯一的密钥？
【发布时间】：2022-10-12 23:05:36
【问题描述】：
我正在尝试在 Foundry 中的 python 转换上保存计算。
我想以增量方式运行我的代码，但我想保留一组唯一的键，而不必对完整数据集进行完整的快照读取，然后运行唯一的。
如果我尝试像df_out = df.select("primary_key").dropDuplicates() 这样的东西，恐怕它会使用完整的数据集输入，我想利用我之前已经做过的重复数据删除。
【问题讨论】：
标签：
palantir-foundry
incremental-build
foundry-code-repositories
foundry-code-workbooks
【解决方案1】：
这里的技巧是使用以前版本的输出数据集：
df_out = df.unionByName(
df_out.dataframe('previous', schema=df.schema).select("primary_key")
).drop_duplicates()
使用此模式，您无需查找完整的数据集，您可以使用先前计算的唯一键集，与新数据联合，然后进行重复数据删除。