【问题标题】:HDFS file locality / replica placement hintsHDFS 文件位置/副本放置提示
【发布时间】:2013-06-26 21:15:04
【问题描述】:

在某些文件创建过程中,有什么方法可以告诉 HDFS 我想在哪里获取文件副本?好的,我知道这可能只是提示,无论如何都不能保证。谢谢。

为什么我需要这个?我有 MapReduce 作业(实际上是它们的链),并且由于我可以控制输入拆分位置,我希望以前的作业缩减器来说明下一个作业映射器的“最可能”位置。这是如何解决我的问题的替代方法之一。有什么想法吗?

【问题讨论】:

    标签: hadoop mapreduce hdfs


    【解决方案1】:

    this 应该可以。它允许您编写 Java 代码来指定 HDFS 应如何分配文件块的副本。

    HTH

    【讨论】:

    • 好吧,这可能是潜力最大的方向。想法被接受,但复杂性太高,现在无法做到。实际上已解决/延迟。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-09-26
    • 1970-01-01
    • 2016-01-12
    相关资源
    最近更新 更多