创建空的 Spark 数据框并添加任意值答案

【问题标题】：Creating empty Spark dataframe and adding arbitrary values创建空的 Spark 数据框并添加任意值
【发布时间】：2022-02-01 20:51:49
【问题描述】：

我创建了一个空数据框，然后尝试向数据框添加列和值。

Dataset<Row> runMetadata = sparkSession.emptyDataFrame();
runMetadata = runMetadata.withColumn("record_count", lit(count));
runMetadata = 
         runMetadata.withColumn("start_time",lit(currTimestamp));
runMetadata.show();

count 很长，currTimestamp 是时间戳。

但“runMetadata.show()”只显示列名，没有值。另外我正在尝试将这个数据框保存在 bigquery 中，也没有附加任何值，我也没有在日志中看到任何错误。

【问题讨论】：

标签： apache-spark apache-spark-sql spark-java

【解决方案1】：

当您使用withColumn 时，您正在定义一个转换，它将应用于您的DataFrame 的所有行。您的 DataFrame 没有行，因此没有将新列应用到的行。

如果您想要一个只有一行的 DataFrame，您可以使用 SparkSession 中的 createDataFrame 方法创建它，并传递一个只有一个元素的列表。

【讨论】：