使用 saveAsTable 将 parquet 数据写入 S3 未完成

Question

在 EC2 机器上使用 Spark 2.0.2，我一直在尝试将带有分区的 parquet 格式的表写入 S3，但应用程序似乎永远不会完成。我可以看到 Spark 已将文件写入 _temporary 下的 S3 存储桶/文件夹，并且一旦 Spark saveAsTable JOB 完成，应用程序就会挂起。

查看s3显示分区是用文件夹分区内的数据生成的（抽查），但_temporary文件夹仍然存在，并且显示表不包括新表。

还有其他人遇到这种情况或有解决方案吗？

有人知道 saveAsTable 命令下面发生了什么吗？

Answer 1

它没有挂起，只是需要将数据从临时存储复制到目的地，这需要大约 data/(10 MB/s) 的时间。 Spark 正在调用 Hadoop 的 FileOutputCommitter 来执行此操作，它认为它与 rename() 所在的 Fileytsem 对话是一个即时事务。