带有空间的Scala Dataframe列保存为databricks表

Question

我正在研究 databricks 笔记本 (Scala)，我有一个类似这样的 spark 查询：

df = spark.sql("SELECT columnName AS `Column Name` FROM table")

我想将其存储为数据块表。我尝试了以下代码：

df.write.mode("overwrite").saveAsTable("df")

但由于列名中的空格，它会出错。这是错误：

属性名称在 " ,;{}()\n\t=" 中包含无效字符。请使用别名重命名。;

我不想删除空格，所以有什么替代方法吗？

Answer 1

不，这是 Databricks 在后台使用的底层技术的限制（例如，PARQUET-677）。这里唯一的解决方法是重命名列，如果名称中需要有空格，请在读取时进行重命名。