如何在 Delta Table - Databricks 中的列之间切换名称？

Question

如何以最有效的方式在 Delta Lake 的 2 列之间切换名称？假设我有以下列：

Address |   Name

我想换个名字，有：

Name    |   Address

首先我重命名了两列：

spark.read.table(„table”) \
  .withColumnRenamed("address", "name1") \
  .withColumnRenamed("name", "address1") \
  .write \
  .format("delta") \
  .mode("overwrite") \
  .option("overwriteSchema", "true") \
  .saveAsTable("table”")

然后我将已经重命名的列重命名为最后一个：

spark.read.table("table”") \
  .withColumnRenamed("name1", "name") \
  .withColumnRenamed("address1", "address") \
  .write \
  .format("delta") \
  .mode("overwrite") \
  .option("overwriteSchema", "true") \
  .saveAsTable("table”") 

Answer 1

在 DataFrame 上使用 toDF function 来设置新名称而不是现有名称怎么样：

spark.read.table("table”") \
  .toDF("name", "address")
  .write....

如果你有更多的列，那么你可以通过使用现有名称和新名称之间的映射来稍微改变它，并生成正确的列列表：

mapping = {"address":"name", "name":"address"}
df = spark.read.table("table”")
new_cols = [mapping.get(cl, cl) for cl in df.columns]
df.toDF(*new_cols).write....