如何选择 Pyspark 列并将其作为新行附加到数据框中？

Question

我有一个 JSON 文件，我想做一些 ETL 任务。 我想提取一列并将其值附加为数据框中的新行。 例如，如果我有这样的数据框：

-----------------------------------------------------------------
|name    |    last    |                  father                 |
-----------------------------------------------------------------
| daniel |  allardice | {'name': 'george', 'last': 'allardice'} |
-----------------------------------------------------------------

我想把它变成：

----------------------------
|    name    |    last     |
----------------------------
|   daniel   |  allardice  |
----------------------------
|   george   |  allardice  |
----------------------------

如何在 PySpark 中通过 UDF 执行此操作？

Answer 1

你可以试试下面的代码

from pyspark.sql import functions as F

df_1 = df.select("name","last");

df_2 = df.select(F.col('father').getItem('name').alias('name'), F.col('father')['last'].alias('last'));

result = df_1.union(df_2);