具有来自不同数据帧的列的 Pyspark 过滤器

Question

我想从事件数据框中存在的价格中过滤 ID。我的代码在下面，但它在 pyspark 中不起作用。我将如何解决这个问题？

events = spark.createDataFrame([(657,'Conferences'),
                          (765, 'Seminars '),
                          (776, 'Meetings'),
                          (879, 'Conferences'),
                          (765, 'Meetings'),
                          (879, 'Seminars'),
                          (985, 'Meetings'),
                          (879, 'Meetings'),
                          (657, 'Seminars'),
                          (657,'Conferences')]
                         ,['Id', 'event_name'])
events.show()
price = spark.createDataFrame([(657,10),
                          (879,45),
                          (776,54),
                          (879,45),
                          (765, 65)]
                         ,['Id','Price'])


price[price.Id.isin(events.Id)].show()

Answer 1

简单的连接将只获取事件表中存在的 id 的价格

events.join(price, "Id").select("Id", "Price").distinct().show()