【发布时间】:2020-07-22 22:38:27
【问题描述】:
我有两个数据框,一个包含用户和项目列,另一个包含所有用户项目对及其分数。
user| item 和 user | item | item2 | rating2 | score
我想从第二个表中删除用户和项目出现在第一个数据框中的所有行。我不能使用减法,因为它们的列数不同?
这可以通过反连接来完成吗?
【问题讨论】:
标签: python sql python-3.x apache-spark pyspark
我有两个数据框,一个包含用户和项目列,另一个包含所有用户项目对及其分数。
user| item 和 user | item | item2 | rating2 | score
我想从第二个表中删除用户和项目出现在第一个数据框中的所有行。我不能使用减法,因为它们的列数不同?
这可以通过反连接来完成吗?
【问题讨论】:
标签: python sql python-3.x apache-spark pyspark
df2.join(df1, on=['user', 'item'], how="left_anti")
【讨论】:
big_df.join(broadcast(small_df)...。这样会快很多。