【发布时间】:2013-06-26 21:15:04
【问题描述】:
在某些文件创建过程中,有什么方法可以告诉 HDFS 我想在哪里获取文件副本?好的,我知道这可能只是提示,无论如何都不能保证。谢谢。
为什么我需要这个?我有 MapReduce 作业(实际上是它们的链),并且由于我可以控制输入拆分位置,我希望以前的作业缩减器来说明下一个作业映射器的“最可能”位置。这是如何解决我的问题的替代方法之一。有什么想法吗?
【问题讨论】:
在某些文件创建过程中,有什么方法可以告诉 HDFS 我想在哪里获取文件副本?好的,我知道这可能只是提示,无论如何都不能保证。谢谢。
为什么我需要这个?我有 MapReduce 作业(实际上是它们的链),并且由于我可以控制输入拆分位置,我希望以前的作业缩减器来说明下一个作业映射器的“最可能”位置。这是如何解决我的问题的替代方法之一。有什么想法吗?
【问题讨论】:
this 应该可以。它允许您编写 Java 代码来指定 HDFS 应如何分配文件块的副本。
HTH
【讨论】: