将 PySpark 数据帧写入分区 Hive 表

Question

我正在学习 Spark。我有一个以下结构的数据框ts。

ts.show()
+--------------------+--------------------+
|    UTC|                 PST|
+--------------------+--------------------+
|2020-11-04 02:24:...|2020-11-03 18:24:...|
+--------------------+--------------------+

我需要将ts插入到Hive中的分区表中，结构如下，

spark.sql(""" create table db.ts_part
(
UTC timestamp,
PST timestamp
)
PARTITIONED BY(  bkup_dt DATE )
STORED AS ORC""")

如何在插入语句中动态传递system run date，以便根据日期在表中的bkup_dt 上进行分区。

我试过这样的代码。但是没有用

ts.write.partitionBy(current_date()).insertInto("db.ts_part",overwrite=False)

我该怎么做？有人可以帮忙吗！

Answer 1

尝试使用 current_date() 创建新列，然后按 hive 表分区写入。

Example:

df.\
withColumn("bkup_dt",current_date()).\
write.\
partitionBy("bkup_dt").\
insertInto("db.ts_part",overwrite=False)

---

UPDATE:

通过 creating temp view 尝试，然后运行 ​​insert 语句。

df.createOrReplaceTempView("tmp")

sql("insert into table <table_name> partition (bkup_dt) select *,current_date bkup_dt from tmp")