我有几个关于 HDFS 联盟 的基本问题。
是否可以从集群联合中的另一个名称节点读取在一个名称节点上创建的文件？
Hadoop 的当前版本是否支持此功能？
【问题讨论】：
标签： hadoop hdfs hadoop2 federation
让我解释一下名称节点联合如何按照Apache web site 工作
NameNode：
为了横向扩展名称服务，联邦使用多个独立的名称节点/名称空间。
Namenodes 是联合的； Namenodes是独立的，不需要相互协调。
Datanodes被所有Namenodes用作块的公共存储。每个 Datanode 都向集群中的所有 Namenode 注册。 Datanodes 定期发送心跳和块报告。它们还处理来自 Namenodes 的命令。
总之，
名称节点是互斥的，不需要它们之间的通信。数据节点可以在多个名称节点之间共享。
要回答您的问题，这是不可能的。如果数据写入一个名称节点，您必须联系该名称节点才能获取数据。你不能问其他名字节点。
关于您在数据复制方面更新的 cmets，
当复制因子为 3 时，HDFS 的放置策略是将一个副本放在本地机架的一个节点上，另一个放在本地机架的不同节点上，最后一个在不同机架的不同节点上 - @987654324 @。
如果本地 RAC 出现故障，您可以使用此功能并从其他数据中心获取数据。但请注意，您是从一个联合名称节点读取数据，而不是从其他联合名称节点读取数据。
一个联合名称节点无法从其他联合名称节点读取数据。但是它们可以共享相同的Datanodes集进行读写操作。
编辑：
在每个联邦中，您可以对 Namenode 进行自动故障转移。如果 Active NameNode 在联合中失败，Stand-by Namenode 将接管 Active Namenode 的职责。
请参阅下面的 SE 帖子了解更多详情。
【讨论】：
没有。这是不可能的。
【讨论】：
可以通过扩展BlockPlacementPolicy接口并将类指向dfs.block.replicator.classname属性来修改hadoop中块复制策略的默认行为Hadoop 配置文件。
请研究 BlockPlacementPolicy 以获得更好的图片。
您实际上可以修改可以将块放置在集群中的位置。
【讨论】：