在另一个进程写入时从 S3 存储桶读取 Spark 数据帧？

Question

读取 spark 数据帧并通过 Jupyter 笔记本和另一个进程同时写入 s3 存储桶来持久化它会不会有任何问题？

说，

我读了一个类似的数据框：

 s3 = spark.read.parquet('s3://path/to/table')

然后在笔记本上做这件事。

同时，我在某个时候通过不同的进程写入同一个 s3 存储桶，例如

system('s3-dist-cp --src --dest s3://path/to/table)

这会成为一个问题吗？我可以搞乱读取/数据帧，但我不想阻止写入存储桶。

Answer 1

这将在您读取的第一个 DF 上的任何操作上导致 FNF 异常。

 s3 = spark.read.parquet('s3://path/to/table')

上面涉及的第一个 spark 作业是列出叶文件和目录。由于有另一个进程正在写入/重写数据，因此路径将是陈旧的。

此外，还应考虑 S3 的最终一致性行为。