pyspark-如何添加一列以从列表中触发数据框[重复]答案

【问题标题】：pyspark- how to add a column to spark dataframe from a list [duplicate]pyspark-如何添加一列以从列表中触发数据框[重复]
【发布时间】：2022-01-19 02:05:36
【问题描述】：

我正在寻找一种从列表中在 Spark DF 中添加新列的方法。在 pandas 方法中，处理它非常容易，但在 spark 中似乎相对困难。请找一个例子

#pandas approach
list_example = [1,3,5,7,8]
df.new_column = list_example

#spark ?

您能帮忙解决这个问题吗（最简单的解决方案）？

【问题讨论】：

我记得这是不可能的，但原因让我无法理解。
一个新的 DF 或者如果 5 行你想要 1..8 每个分配给列表中的一个值？

标签： python pandas apache-spark pyspark rdd

【解决方案1】：

你可以试试这样的：

import pyspark.sql.functions as F

list_example = [1,3,5,7,8]
new_df = df.withColumn("new_column",  F.array( [F.lit(x) for x in list_example] ))
new_df.show()

【讨论】：

不清楚这是不是这个意思。但可能是。