【问题标题】:Hadoop which node will do split input data to multiple blocks?Hadoop哪个节点将输入数据拆分到多个块?
【发布时间】:2018-07-13 14:34:01
【问题描述】:

我是 hadoop 新手,有几个问题?

  1. 哪个节点将输入数据拆分为多个块?
  2. 根据 shortpath 查找数据节点。问题是找到客户端与数据节点或数据节点与名称节点之间的短路径?

【问题讨论】:

    标签: hadoop mapreduce hdfs hadoop-streaming


    【解决方案1】:

    client writes the blocks directly to the datanodes after communicating with the namenode for allocating block locations

    我不明白第二部分。任何客户端都必须联系名称节点以了解块的位置。没有namenode,就无法整体检索文件内容

    【讨论】:

    • 感谢 #1 问题的回答。
    • 感谢 #1 问题的回答。形成我的理解块驻留在3个数据节点(副本)它将选择节点的依据是什么,例如,在数据节点1、4、5中复制的块A ..所以哪个节点客户端将选择处理数据..希望你可以理解。
    • 没关系。你不应该知道。尝试优化机架位置
    猜你喜欢
    • 1970-01-01
    • 2011-09-16
    • 1970-01-01
    • 1970-01-01
    • 2015-12-14
    • 2021-10-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多