【发布时间】:2021-04-21 10:18:55
【问题描述】:
我正在提取雪花表并将其加载到 PySpark DataFrame 中,并且我想重命名它的列。 现在,正在完成将加载的数据帧存储到变量中,然后访问列列表:
calculated_signal_df = (
spark.read.format("snowflake")
.options(**sfOptions)
.option("query", "select * from iot.calculated_signal")
.load()
)
calculated_signal_df = calculated_signal_df.toDF(*[c.lower() for c in calculated_signal_df.columns])
我实际上想知道是否可以在load() 之后直接跳过中间通道和管道toDF() 方法。我的第一个疑问是如何获取列列表。
我想到的第二种方法是预先定义原始和所需的列名,然后使用它们,但我试图根本不创建变量。
这在 Pandas 和/或 Python 中是否可行? (我假设对 Pandas 数据帧有效的方法,对 PySpark 数据帧有效)。
【问题讨论】:
标签: python pandas pyspark apache-spark-sql