java.io.FileNotFoundexception 写入 qubole 中的 apache spark答案

【问题标题】：java.io.FileNotFound exception while writing to apache spark in qubolejava.io.FileNotFoundexception 写入 qubole 中的 apache spark
【发布时间】：2018-05-06 23:02:45
【问题描述】：

我在 qubole 上运行的 apache spark 1.6.3 中有一个代码，它将数据写入 s3 上的多个表（镶木地板格式）。在写信给表格时，我不断收到java.io.FileNotFound exception。

我什至设置：spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter.
但这似乎并不能解决我的问题。此外，在检查日志时，我发现异常是由于_temporary location being missing。即使在使用DirectParquetOutputCommitter 之后，我也不明白为什么 _temporary 位置。这个异常一直在发生。

如果有人知道在qubole中解决这个问题，请告诉我。谢谢。

【问题讨论】：

标签： apache-spark amazon-s3 eventual-consistency qubole

【解决方案1】：

S3 不是一个一致的文件系统；它是一个最终一致的对象存储，其列表操作往往会短暂滞后于已创建的文件。

任何假定写入数据在您观察时明显“存在”的代码都可能在这个世界中崩溃。对不起

【讨论】：