Pyspark 最昂贵的产品

【问题标题】：Pyspark Most expensive ProductPyspark 最昂贵的产品
【发布时间】：2020-05-06 19:21:43
【问题描述】：

我正在尝试使用 PySpark 获得最昂贵的产品。我基本上必须将此查询从 SQL 转换为 pyspark：

%sql

SELECT product, item_price as price
FROM lotstemp
ORDER BY item_price DESC
LIMIT 1

谁能帮我在 PySpark 中编写这个查询？

【问题讨论】：

【解决方案1】：

您可以通过将数据框注册为临时表来直接在spark中运行sql

df.createOrReplaceTempTable('lotstemp')
df=spark.sql('SELECT product, item_price as price FROM lotstemp ORDER BY item_price DESC LIMIT 1')

或者如果您想使用数据框 API，您可以通过以下方式执行此操作：

df1 = df.orderBy(f.desc('State')).limit(1)

希望对你有帮助。

【讨论】：