PySpark insertInto 覆盖

Question

我正在尝试将数据框中的数据插入 Hive 表。我已经能够成功地使用 df.write.insertInto("db1.table1", overwrite = True).

我对@9​​87654322@ 部分有点困惑——我尝试多次运行它，它似乎是追加的，而不是覆盖的。文档中没有太多内容，但我应该何时将覆盖设置为 False 与 True？

Answer 1

df.insertInto 仅在 table already exists 在 hive 中有效。

df.write.insertInto("db.table1",overwrite=False) 会将数据append 放到现有的 hive 表中。

df.write.insertInto("db.table1",overwrite=True)会overwritehive表中的数据。

示例：

df.show()
#+----+---+                                                                                                                                                                              
#|name| id|
#+----+---+
#|   a|  1|
#|   b|  2|
#+----+---+

#save the table to hive
df.write.saveAsTable("default.table1")

#from hive
#hive> select * from table1;
#OK
#a       1
#b       2

df.write.insertInto("moch.table1",overwrite=True)

#from hive
#hive> select * from table1;
#OK
#a       1
#b       2

#appending data to hive
df.write.insertInto("moch.table1",overwrite=False)

#from hive
#hive> select * from table1;
#OK
#a       1
#b       2
#a       1
#b       2