【发布时间】:2025-12-21 09:20:35
【问题描述】:
假设我有 100 个文件,每个文件大小为 100MB,块大小为 64MB。
1) 处理所有这 100 个文件需要多少个映射器。
2) 正如我们所知,输入拆分大小的最大限制是块大小。所以在我们的例子中,它将是 64 MB。因此,如果映射器开始处理文件的输入拆分,即 64MB,它将如何处理剩余的 36MB。这个映射器是负责处理剩余的 36MB 还是将在其他映射器中处理?
【问题讨论】:
假设我有 100 个文件,每个文件大小为 100MB,块大小为 64MB。
1) 处理所有这 100 个文件需要多少个映射器。
2) 正如我们所知,输入拆分大小的最大限制是块大小。所以在我们的例子中,它将是 64 MB。因此,如果映射器开始处理文件的输入拆分,即 64MB,它将如何处理剩余的 36MB。这个映射器是负责处理剩余的 36MB 还是将在其他映射器中处理?
【问题讨论】:
由于您的块大小为 64mb,因此总共会生成 200 个映射器。
同一文件将由 2 个映射器处理,因为它的输入拆分位于不同的位置,一个映射器将处理前 64MB,另一个映射器将处理剩余的 36MB
【讨论】: