具体的数据分片是这样的:InputFormat在默认情况下会根据hadoop集群HDFS块大小进行分片,每一个分片会由一个map任务来进行处理,当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks,这个参数设置的map数量仅仅是一个提示,只有当InputFormat决定了map任务的个数比mapred.map.tasks值小时才起作用。同样,Map任务的个数也能通过使用JobConf的conf.setNumMapTasks(int num)方法来手动地设置。这个方法能够用来增加map任务的个数,但是不能设定任务的个数小于Hadoop系统通过分割输入数据得到的值。

大数据开发面试部分:如何为一个Hadoop任务设置mappers的数量(大数据开发面试)

相关文章:

  • 2021-08-09
  • 2021-08-29
  • 2021-12-05
  • 2021-10-23
  • 2021-12-15
  • 2022-12-23
猜你喜欢
  • 2022-01-06
  • 2021-07-14
  • 2021-08-19
  • 2021-06-07
  • 2021-10-02
  • 2021-11-02
  • 2021-12-05
相关资源
相似解决方案