【问题标题】:Number of Mappers in HadoopHadoop 中的映射器数量
【发布时间】:2025-12-21 09:20:35
【问题描述】:

假设我有 100 个文件,每个文件大小为 100MB,块大小为 64MB。

1) 处理所有这 100 个文件需要多少个映射器。

2) 正如我们所知,输入拆分大小的最大限制是块大小。所以在我们的例子中,它将是 64 MB。因此,如果映射器开始处理文件的输入拆分,即 64MB,它将如何处理剩余的 36MB。这个映射器是负责处理剩余的 36MB 还是将在其他映射器中处理?

【问题讨论】:

    标签: hadoop mapper


    【解决方案1】:

    由于您的块大小为 64mb,因此总共会生成 200 个映射器。

    同一文件将由 2 个映射器处理,因为它的输入拆分位于不同的位置,一个映射器将处理前 64MB,另一个映射器将处理剩余的 36MB

    【讨论】: