在 Spark 中迭代 S3 文件答案

【问题标题】：Iterate through S3 files in Spark在 Spark 中迭代 S3 文件
【发布时间】：2017-03-15 15:54:03
【问题描述】：

问题：
大量文件。每个文件为 10MB，由 json 格式的记录组成，gzip 压缩。

我的 sn-p 正在将所有数据加载到内存中。没有必要这样做。我一次只需要几个小时的内存数据。我需要一个滑动窗口。

是否可以将火花流中的“窗口”想法应用到文件中，我将如何做到这一点？

我正在使用 python

location = "s3://bucketname/xxxx/2016/10/1[1-2]/*/file_prefix*.gz"
rdd = sc.textFile(location)

【问题讨论】：

【解决方案1】：

您发布的 sn-p 实际上没有计算。 Spark 执行是惰性的，并且仅在您要求结果时强制计算“转换”，例如maps、filters 甚至textFiles——例如计算 RDD。

另一个注意事项是默认情况下大多数 Spark 操作都是流式传输的。如果您有 300 个 10M json 文件，您将获得 300 个单独的分区或任务。如果您愿意等待，您可以在一个核心上对该数据集执行大多数 RDD 操作。

如果您需要一个滑动窗口，那么Spark streaming 包中有很好的功能。不过你发的sn-p没有问题！

【讨论】：