当会话在写入期间被终止时，Spark saveAsTable 是否会回滚？

【问题标题】：Does Spark saveAsTable roll back when the session is killed during a write?当会话在写入期间被终止时，Spark saveAsTable 是否会回滚？
【发布时间】：2018-11-03 06:53:04
【问题描述】：

使用 saveAsTable 附加到 hive 托管表时，不完整的 saveAsTable 完成的工作会回滚，还是部分信息会保留？

【问题讨论】：

我认为它会回滚，因为写入首先会写入 _temporary 文件夹，只有在操作成功后才会提交。

标签： apache-spark hive hdfs

【解决方案1】：

使用 spark 写表时没有“回滚”的概念。当您 saveAsTable 时，它不会创建事务表。如果在您保存表时 spark 会话终止，则表仍处于不可用状态。即使写入了部分数据，您也可能无法读取部分写入的数据。

但是，当您使用仅附加配置单元时，可以读取其余数据。

【讨论】：

谢谢，您如何将这一点与@philantrovert 所说的结合起来？