重命名 Pyspark Dataframe 中的未命名列

Question

数据在 excel 文件中，这意味着文件格式为“.xlsx”。表的标题已经在前两行之间进行了拆分。我该如何解决？是否有任何解决方案可以为每列取两个名称中的最佳值，并将该列名称作为标题

我在源文件中有这些行：

|Unnamed:_0|Unnamed:_1|Unnamed:_2|Unnamed:_3|Unnamed:_4|Year |2018|2018.1|
|Col1      |Col2      |Col3      |Col4      |Col5      |Month|Jul |Aug   |

我想将表格的标题显示为：

|Col1|Col2|Col3|Col4|Col5|Year_Month|2018_07|2018.1_08|

如果你能帮我提供一个解决方案，我会很高兴，因为我是 pyspark 的新手

Answer 1

您可以分享更多代码，但我敢打赌它是 csv 的标头选项：

df = spark.read.format("csv").option("header", "true").load("csvfile.csv")

如果不是 csv，您可以使用模式并在模式中指定列名。架构示例：

schema = StructType([
 StructField('firstname', StringType(), True),
 StructField('middlename', StringType(), True),
 StructField('lastname', StringType(), True),
 StructField('languages', ArrayType(StringType()), True),
 StructField('state', StringType(), True),
 StructField('gender', StringType(), True)])
df = spark.createDataFrame(data = data, schema = schema)

有时对于 csvs 也可以用于从文件中自动检测架构，因此：

df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("csvfile.csv")

如果您从 excel 加载，您也可以使用上述选项，例如

.option("header", "true")

在加载 excel 中有用的也是选项 dataAddress，因为您可以像在 excel 中一样定位表/选择，因此经过一些实验，标题将匹配：

.option("dataAddress", "'My Sheet'!B3:C35")

如果该解决方案中的任何一个不起作用，您可以将第一行提升为标题，但这有点复杂。 @desertnaut 描述了一个优秀的脚本和手册如何做到这一点https://stackoverflow.com/a/34837299/10972959