如何更改 Hadoop 中映射器/缩减器的数量？由于某些奇怪的原因，mapred-site.xml 中不存在 mapred.tasttracker.map.tasks.maximum 和 mapred.tasttracker.reduce.tasks.maximum。我确实设法在 dse-mapred-default.xml 中找到了这些设置，但是一旦打开 xml，就会有一条注释指出不应在此文件中编辑设置，并且应在 mapred-site 中覆盖这些属性。 xml。
我已尝试将这两个设置添加到 mapred-site.xml 并重新启动 Hadoop，我希望这些数字也会在 dse-mapred-default.xml 中更新，但没有运气。
有人能解释一下吗？
谢谢 马吉德
【问题讨论】：
不是mapred.tasttracker.map.tasks.maximum，而是mapred.tasktracker.map.tasks.maximum。我希望这只是一个错字，并且您在配置中使用了正确的名称。
在启动时，DSE 会创建 dse-mapred-default.xml 和 dse-core-default.xml 文件，并用适合您本地操作系统配置和硬件的默认值填充它们。这主要用于 Hadoop 自动调整功能和简化启用安全性的 Hadoop 的配置。然后 Hadoop 按以下顺序加载配置文件：
稍后加载的文件中的设置会覆盖之前加载的设置。配置的最终状态是不写回具有默认值的文件。您不应期望将 mapred-site.xml 中的设置复制到 dse-mapred-default.xml 文件中。
如果您不确定最终配置是什么以及您的设置是否正确设置 - 只需运行一个作业并查看 hadoop 日志目录并搜索匹配模式 job_xxxxxxxxxxxx_xxxx_conf.xml 的文件，其中 x 是一个数字。您还可以在 jobtracker HTTP 控制台中查看最终配置。
【讨论】：