【问题标题】:Can I have different block placement policies in HDFS?我可以在 HDFS 中有不同的块放置策略吗?
【发布时间】:2018-05-04 13:09:30
【问题描述】:

即一个集群有多个应用程序,每个应用程序在副本位置方面有不同的要求 - 我可以设置它以支持这些多个应用程序吗?

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    是的,可以这样做。

    注意:风险自负。写块放置策略极其复杂和冒险。您的应用程序需要确定如何放置副本,这似乎是一种代码味道。想想你是否真的需要编写块放置策略。已经警告过您,如果您想知道如何完成此操作,请继续。通常,此功能用于控制集群的平衡程度。例如。 Hadoop 供应商之一制定的策略之一是将块放置在磁盘使用率最低的磁盘上。

    这里有很多资源供您查看:

    1. 所以发布了同样的问题:Modifying the block placement strategy of HDFS
    2. 另一个SO:how does hdfs choose a datanode to store
    3. 2009 年首次发布该功能时的博客:HDFS block replica placement in your hands now!

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-11-14
      • 2021-09-07
      • 1970-01-01
      • 1970-01-01
      • 2011-02-15
      • 1970-01-01
      • 2022-12-18
      相关资源
      最近更新 更多