如何使用spark同时读取不同文件夹中的多个文件？答案

【问题标题】：How to read multiple files in different folders at the same time using spark?如何使用spark同时读取不同文件夹中的多个文件？
【发布时间】：2019-05-14 22:08:37
【问题描述】：

我正在尝试同时读取不同路径中的多个文件。在 sql server 中，路径“/mapr/ia1.comscore.com/output/cms/cmcm/227m/2018????/app/RunningApp/part-.txt”告诉服务器读取所有227m（2018 年 11 月）月份运行应用程序文件夹中的文件。 '2018????'表示 2018 年 11 月的所有日期。这样，我们就不必告诉 sql server 一个一个地读取每个日期。在这里'2018????'表示从“20181101”到“20181130”的所有日期。我想在火花中做同样的事情。但火花似乎无法识别这种格式的路径。我也试过改变'2018????'太'2018'，还是不行。

有人知道如何解决这个问题吗？

请注意，“/mapr/ia1.comscore.com/output/cms/cmcm/227m/20181101/app/RunningApp/part-*.txt”）在 spark 中运行良好。

我正在使用 zeppelin 作为笔记本。

非常感谢。

【问题讨论】：

标签： apache-spark apache-zeppelin

【解决方案1】：

最简单的方法是传递路径列表，例如 sparkContext.read.text(paths=[path1, path2, ...])

【讨论】：