【问题标题】:Hadoop - copyFromLocal inner workflow?Hadoop - copyFromLocal 内部工作流程?
【发布时间】:2020-07-03 23:09:53
【问题描述】:

当我们发出 copyFromLocal 之类的命令或 put 将数据从客户端复制到 HDFS 时,这个过程实际上是如何工作的?

我在 HDFS 架构中读到,客户端将联系 Namenode 以获取数据节点列表,然后建立连接并传输数据。

有没有其他方法或方法可以让它更快?

哪些类会调用此行为,例如检查数据节点列表等?

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    你可以在类中的方法copyFromLocal开始浏览代码

    org.apache.hadoop.fs.FsShell 
    

    为方便起见,我引用url

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-05-26
      • 2018-03-07
      • 1970-01-01
      • 2011-12-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多