分区数如何影响 `wholeTextFiles` 和 `textFiles`？

Question

在 spark 中，我了解如何使用 wholeTextFiles 和 textFiles，但我不确定何时使用哪个。以下是我目前所知道的：

• 在处理不按行分割的文件时，应使用wholeTextFiles，否则使用textFiles。

我认为默认情况下，wholeTextFiles 和 textFiles 分别按文件内容和行进行分区。但是，它们都允许您更改参数minPartitions。

那么，更改分区如何影响这些分区的处理方式？

例如，假设我有一个 100 行的非常大的文件。将其处理为具有 100 个分区的 wholeTextFiles 与使用默认分区 100 将其处理为 textFile （逐行分区）之间有什么区别。

这些有什么区别？

Answer 1

作为参考，wholeTextFiles 使用 WholeTextFileInputFormat 扩展 CombineFileInputFormat。

关于wholeTextFiles 的几点说明。

• wholeTextFiles 返回的 RDD 中的每条记录都有文件名和文件的全部内容。这意味着（根本）无法拆分文件。
• 因为它扩展了CombineFileInputFormat，它会尝试将一组较小的文件合并到一个分区中。

如果我在一个目录中有两个小文件，则这两个文件可能最终都位于一个分区中。如果我设置minPartitions=2，那么我可能会取回两个分区。

现在如果我设置minPartitions=3，我仍然会取回两个分区，因为wholeTextFiles 的约定是RDD 中的每条记录都包含一个完整的文件。